高方差和高偏差的解決方案
我們已經介紹了怎樣評價一個學習算法，我們討論了模型選擇問題，偏差和方差的問題。
什麼情況下應該怎樣選擇：
獲得更多的訓練樣本——解決高方差
嘗試減少特徵的數量——解決高方差
嘗試增加正則化程度λ——解決高方差
嘗試獲得更多的特徵——解決高偏差
嘗試增加多項式特徵——解決高偏差
嘗試減少正則化程度λ——解決高偏差
3類曲線圖
 |
 |
|---|
神經網絡中的欠擬合、過擬合
使用較小的神經網絡，類似於參數較少的情況，容易導致高偏差和欠擬合，但計算代價較小
使用較大的神經網絡，類似於參數較多的情況，容易導致高方差和過擬合，雖然計算代價比較大，但是可以通過正則化手段來調整而更加適應數據。 通常選擇較大的神經網絡並採用正則化處理會比採用較小的神經網絡效果要好
對於神經網絡中的隱藏層的層數的選擇，通常從一層開始逐漸增加層數，爲了更好地作選擇，可以把數據分爲訓練集、交叉驗證集和測試集，針對不同隱藏層層數的神經網絡訓練神經網絡， 然後選擇交叉驗證集代價最小的神經網絡