抄袭/参考资料:
| 主类 | 待参数验证/筛选 | 优化方法 | 说明 |
|---|---|---|---|
| LinearRegression | 最小二乘矩阵法 | ||
| Ridge | RidgeCV | 最小二乘矩阵法 | 岭回归 L1 |
| Lasso | LassoCV | 坐标轴下降法 | Lasso L2 |
| LassoLars | LassoLarsCV / LassoLarsIC | 最小角回归法 | Lasso L2 |
| ElasticNet | ElasticNetCV | 坐标轴下降法 | 弹性网 L1+L2 |
| OrthogonalMatchingPursuit | OrthogonalMatchingPursuitCV | 向前选择算法 | |
| MultiTaskLasso | MultiTaskLassoCV | 坐标轴下降法 | 多任务Lasso |
| MultiTaskElasticNet | MultiTaskElasticNetCV | 坐标轴下降法 | 多任务弹性网 |
| BayesianRidge | |||
| ARDRegression | - |
部分常用参数说明
| 参数 | 说明 |
|---|---|
| fit_intercept | 是否存在截距,默认存在True |
| normalize | 标准化开关,默认关闭False |
| copy_X | |
| n_jobs | |
| random_state | 伪随机种子 |
| verbose | - |
| 参数 | 说明 |
|---|---|
| alpha | 正则化系数 |
| C | 正则化线性(逻辑回归之类用的) |
| solver | 解决算法选择,各不相同 |
| tol | 解决算法的精度,一般是0.0001 或 0.001 |
| max_iter | 迭代次数 |
| 参数 | 说明 |
|---|---|
| class_weight | 每条训练样本的权重,在fit()中是使用 |
| sample_weight | 每条测试样本的权重,在score()中使用 |
| 参数 | 说明 |
|---|---|
| esp | 路径长度,eps=1e-3:alpha_min / alpha_max = 1e-3 |
| alphas | |
| n_alphas | |
| cv | - |
LinearRegression是我们的首先。如果发现拟合或者预测的不好,再考虑用其他的线性回归库。- 加入正则项,防止过拟合
- L1:
Rigde - L2:
Lasso/LassoLars - L1+L2:
ElasticNet
- L1:
- 但为了方便参数的调优,使用
RigdeCVLassoCVLassoLarsCV/LassoLarsICElasticNetCV