机器学习算法03 - 线性回归

线性回归

机器学习基本算法之一的线性回归的基本原理，其要点如下：

• 线性回归假设输出变量是若干输入变量的线性组合，并根据这一关系求解线性组合中的最优系数；
• 最小二乘法可用于解决单变量线性回归问题，当误差函数服从正态分布时，它与最大似然估计等价；
• 多元线性回归问题也可以用最小二乘法求解，但极易出现过拟合现象；
• 岭回归和 LASSO 回归分别通过引入二范数惩罚项和一范数惩罚项抑制过拟合。