線性迴歸3：正則化-嶺迴歸

過擬合解決辦法：

• 加數據

• 特徵選擇/特徵提取（比如PCA）

• 正則化

正則化框架：

常用的有兩種範數:

L1正則是不存在解析解的，我們能求L2範數的目標函數：

所以w爲：

對目標函數求導，令其導數爲0：

得w估計：

與最小二乘估計對比：