抄袭/参考资料:
主类 | 待参数验证/筛选 | 优化方法 | 说明 |
---|---|---|---|
LinearRegression | 最小二乘矩阵法 | ||
Ridge | RidgeCV | 最小二乘矩阵法 | 岭回归 L1 |
Lasso | LassoCV | 坐标轴下降法 | Lasso L2 |
LassoLars | LassoLarsCV / LassoLarsIC | 最小角回归法 | Lasso L2 |
ElasticNet | ElasticNetCV | 坐标轴下降法 | 弹性网 L1+L2 |
OrthogonalMatchingPursuit | OrthogonalMatchingPursuitCV | 向前选择算法 | |
MultiTaskLasso | MultiTaskLassoCV | 坐标轴下降法 | 多任务Lasso |
MultiTaskElasticNet | MultiTaskElasticNetCV | 坐标轴下降法 | 多任务弹性网 |
BayesianRidge | |||
ARDRegression | - |
部分常用参数说明
参数 | 说明 |
---|---|
fit_intercept | 是否存在截距,默认存在True |
normalize | 标准化开关,默认关闭False |
copy_X | |
n_jobs | |
random_state | 伪随机种子 |
verbose | - |
参数 | 说明 |
---|---|
alpha | 正则化系数 |
C | 正则化线性(逻辑回归之类用的) |
solver | 解决算法选择,各不相同 |
tol | 解决算法的精度,一般是0.0001 或 0.001 |
max_iter | 迭代次数 |
参数 | 说明 |
---|---|
class_weight | 每条训练样本的权重,在fit()中是使用 |
sample_weight | 每条测试样本的权重,在score()中使用 |
参数 | 说明 |
---|---|
esp | 路径长度,eps=1e-3:alpha_min / alpha_max = 1e-3 |
alphas | |
n_alphas | |
cv | - |
LinearRegression
是我们的首先。如果发现拟合或者预测的不好,再考虑用其他的线性回归库。- 加入正则项,防止过拟合
- L1:
Rigde
- L2:
Lasso
/LassoLars
- L1+L2:
ElasticNet
- L1:
- 但为了方便参数的调优,使用
RigdeCV
LassoCV
LassoLarsCV
/LassoLarsIC
ElasticNetCV