1.如果有可避免的高的偏差（可避免是相對於人類的水平來說的），可以通過增加網絡深度來解決。如果方差較高的話（過擬合），增加數據量。
2.現在有很多很棒的神經網絡架構，嘗試新的框架相較於增加網絡模型和數據量具有高的不確定性。
3.增加模型的大小會減小bias，但是可能增加方差，也有過擬合的風險。但一般來說，這種過擬合是由於沒有使用正則化。如果有一個設計不錯的正則化模型，我們可以放心的增加模型大小。如果我們使用了正則化，dev set的效果較好，那麼增加模型後，dev set的效果至少不會減少。這時唯一阻止增加模型的原因就是由於模型增加導致的計算的增加。
4.增加正則化會增加bias，但是會減小variance。
5.那麼增麼平衡bias和variance呢？比如：我們在增加模型大小的同時，調整正則化，那麼bias減小了，但是variance則不會增加太多；增加訓練數據可以減小variance，但是不影響bias。
6.如果我們的模型bias較高，怎麼辦？訓練效果太差。
1，增加網絡大小，如果通過增加網絡導致高的variance，通過正則化降低variance；
3，減少或者避免使用正則化（包括L1，L2，dropout），但是可能導致variance增加。
4，修改模型結構；
5，這時增加需訓練數據一般不會對bias有顯著的幫助。
7.bias太高的話，還可以對訓練數據進行錯誤分析。通過觀察訓練數據，列一個表：
分析是什麼原因導致訓練集效果較差，然後專注於解決這個問題。比如上表顯示背景噪聲干擾較多，那麼接下來就要關注具有噪聲的數據了。還有一種辦法來檢查訓練數據，如果連人類都不能很好的處理這些數據，那麼難怪算法也不能處理的很好。我們會測試一下人類在訓練數據上的表現。
8.如何減小variance呢？
1，增加訓練數據（最可靠的方法）；
3，提前結束訓練，也會導致高的bias，也相當於是一種正則化；
4，進行特徵選取，減少輸入特徵，當然可能也會增加bias，一般來說訓練數據較少時，這種方法會很有用。
5，減小模型，要慎重使用，這可能導致大的bias，一般來說增加正則化就可以取得很好的效果，減小模型的一個好處就是減少計算，加快訓練，如果我們的計算資源還算充足，那麼首先增加正則化；
6，通過錯誤分析修改特徵，比如我們增加了特徵，但是導致variance增加，那麼我們使用正則化，正則化一般可以消除variance的增加。
7，修改模型，如果能夠找到一個好的模型，那麼bias和variance都會有好的效果。