簡介
模型不合適，導致其無法對數據實現有效預測
| 訓練數據 | 預測數據 | |
|---|---|---|
| 欠擬合 | 不準確 | 不準確 |
| 過擬合 | 準確 | 不準確 |
| 好模型 | 準確 | 準確 |
原因
模型結構過於複雜（維度過高）
使用了過多屬性，模型訓練時包含了干擾信息
解決辦法
- 簡化模型結構（使用低階模型， 比如線性模型）
- 數據預處理，保留主成分信息（數據PCA處理）
- 在模型訓練時，增加正則項（regularization）
正則項
線性迴歸，最小化損失函數（Л）：
\[J=\frac{1}{2 m} \sum_{i=1}^{m}\left(y_{i}^{\prime}-y_{i}\right)^{2}=\frac{1}{2 m} \sum_{i=1}^{m}\left(g\left(\theta, x_{i}\right)-y_{i}\right)^{2}
\]
正則化處理後的損失函數（Л：
\[J=\frac{1}{2 m} \sum_{i=1}^{m}\left(g\left(\theta, x_{i}\right)-y_{i}\right)^{2}+\frac{\lambda}{2 m} \sum_{j=1}^{n} \theta_{j}^{2}
\]
通過引入正則化項， \(\lambda\) 取值大的情況下，可約束 \(\theta\) 取值，有效控制各個屬性數據 的影響。