机器学习实战笔记(二)

机器学习实战笔记(二)

标签（空格分隔）： 机器学习

---

局部加权线性回归

平方误差$\sum_{i=1}^m (y_i - x_i^T w)^2$$=(y-Xw)^T(y-Xw)$求导令其为０得到如下

$\hat{\omega } = (X^TX)^{-1} X^Ty$

$\hat{\omega } = (X^TＷX)^{-1} X^TＷy$
在局部加权线性回归中,较小的核容易得到较低的误差,但是最小的核容易过拟合

缩减系数来理解数据

• 首先如果数据特征多于样本点怎么办?$求解(X^TX)^{-1}$会出现问题
  统计学家引入岭回归,以及lasso法

岭回归

其实就是在$X^TX上面加上一个\lambda I从而让矩阵非奇异$
在增加如下条件下,普通最小二乘法可以得到和岭回归一样的公式
$\sum _{k=1}^n \omega _k ^2 \leq \lambda$

lasso回归

$\sum _{k=1}^n | \omega _k | \leq \lambda$

诊断偏差和方差

训练集误差和交叉验证集误差近似时:偏差/欠拟合
交叉验证集误差远大于训练集误差时:方差/过拟合