哲哲的ML筆記（二十：偏差bias和方差variance）

原創

沿哲

2021-04-14 01:16

不考慮正則的一般情況

運行一個學習算法時，如果這個算法的表現不理想，那麼多半是出現兩種情況：要麼是偏差比較大，要麼是方差比較大。換句話說，出現的情況要麼是欠擬合，要麼是過擬合問題
高偏差和高方差對應欠擬合和過擬合的問題，如下圖所示：

我們通常會通過將訓練集和交叉驗證集的代價函數誤差與多項式的次數繪製在同一張圖表上來幫助分析：
欠擬合的情況對應d較小時，過擬合的情況對應d較大時，隨着d的增加， $J_{train}$ 越來越小， $J_{cv}$ 先變小再變大

如果在訓練時遇到模型在 $J_{cv}$ 或者 $J_{test}$ 上都很高，如何判斷是高偏差還是高方差呢？下圖給出了很好的解釋

訓練集誤差和交叉驗證集誤差近似時：偏差/欠擬合交叉驗證集誤差遠大於訓練集誤差時：方差/過擬合

考慮正則

在我們在訓練模型的過程中，一般會使用一些正則化方法來防止過擬合。但是我們可能會正則化的程度太高或太小了，即我們在選擇 $\lambda$ 的值時也需要思考與剛纔選擇多項式模型次數類似的問題。
$h_\theta(x)=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3+\theta_4x^4$
$J(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{i})-y^{i})^2+\lambda \sum_{j=1}^n\theta_j$