機器學習實戰筆記(二)

機器學習實戰筆記(二)

標籤（空格分隔）： 機器學習

---

局部加權線性迴歸

平方誤差$\sum_{i=1}^m (y_i - x_i^T w)^2$$=(y-Xw)^T(y-Xw)$求導令其爲０得到如下

$\hat{\omega } = (X^TX)^{-1} X^Ty$

$\hat{\omega } = (X^TＷX)^{-1} X^TＷy$
在局部加權線性迴歸中,較小的核容易得到較低的誤差,但是最小的核容易過擬合

縮減係數來理解數據

• 首先如果數據特徵多於樣本點怎麼辦?$求解(X^TX)^{-1}$會出現問題
  統計學家引入嶺迴歸,以及lasso法

嶺迴歸

其實就是在$X^TX上面加上一個\lambda I從而讓矩陣非奇異$
在增加如下條件下,普通最小二乘法可以得到和嶺迴歸一樣的公式
$\sum _{k=1}^n \omega _k ^2 \leq \lambda$

lasso迴歸

$\sum _{k=1}^n | \omega _k | \leq \lambda$

診斷偏差和方差

訓練集誤差和交叉驗證集誤差近似時:偏差/欠擬合
交叉驗證集誤差遠大於訓練集誤差時:方差/過擬合