还没决定

sklearn-线性回归

抄袭/参考资料:


主类 待参数验证/筛选 优化方法 说明
LinearRegression 最小二乘矩阵法
Ridge RidgeCV 最小二乘矩阵法 岭回归 L1
Lasso LassoCV 坐标轴下降法 Lasso L2
LassoLars LassoLarsCV / LassoLarsIC 最小角回归法 Lasso L2
ElasticNet ElasticNetCV 坐标轴下降法 弹性网 L1+L2
OrthogonalMatchingPursuit OrthogonalMatchingPursuitCV 向前选择算法
MultiTaskLasso MultiTaskLassoCV 坐标轴下降法 多任务Lasso
MultiTaskElasticNet MultiTaskElasticNetCV 坐标轴下降法 多任务弹性网
BayesianRidge
ARDRegression -

部分常用参数说明

参数 说明
fit_intercept 是否存在截距,默认存在True
normalize 标准化开关,默认关闭False
copy_X
n_jobs
random_state 伪随机种子
verbose -
参数 说明
alpha 正则化系数
C 正则化线性(逻辑回归之类用的)
solver 解决算法选择,各不相同
tol 解决算法的精度,一般是0.0001 或 0.001
max_iter 迭代次数
参数 说明
class_weight 每条训练样本的权重,在fit()中是使用
sample_weight 每条测试样本的权重,在score()中使用
参数 说明
esp 路径长度,eps=1e-3:alpha_min / alpha_max = 1e-3
alphas
n_alphas
cv -

  • LinearRegression是我们的首先。如果发现拟合或者预测的不好,再考虑用其他的线性回归库。
  • 加入正则项,防止过拟合
    • L1:Rigde
    • L2:Lasso / LassoLars
    • L1+L2:ElasticNet
  • 但为了方便参数的调优,使用
    • RigdeCV
    • LassoCV LassoLarsCV / LassoLarsIC
    • ElasticNetCV