網絡收斂問題彙總

loss太大：把lr改小

loss的下降速度非常慢：batchsize太小

訓練集的損失已經下降到比較滿意的值，但是（！！！！）驗證集上的損失幾乎沒有下降，或者是說相比與訓練集的損失值不在一個數量級上！！！

最本質的原因：網絡模型在小數據庫上出現過擬合。

訓練數據太少

精度不高或者爲0的問題結果

來自 <http://www.cnblogs.com/hust-yingjie/p/6535078.html> 
https://blog.csdn.net/yang_502/article/details/72566168
https://blog.ailemon.me/2018/04/09/deep-learning-the-ways-to-solve-underfitting/

深度學習的效果很大程度上取決於參數調節的好壞

來自 <https://www.zhihu.com/question/25097993> 

數據增廣
https://blog.csdn.net/timeflyhigh/article/details/52015175

訓練過程中train loss不斷下降，然而test loss卻不斷升高，還有就是accuracy並不是很高只有60%
過擬合
來自 <http://caffecn.cn/?/question/1265> 
train loss與test loss結果分析
來自 <https://blog.csdn.net/SMF0504/article/details/71698354> 
設置過優化函數sgd（使用adam也不收斂），且必須使dropout爲0，訓練集纔開始收斂
來自 <https://blog.csdn.net/u010911921/article/details/71079367/> 

解決過擬合
http://zongweiz.leanote.com/post/%E6%B7%B1%E5%BA%A6%E7%BD%91%E7%BB%9C%E7%9A%84%E8%BF%87%E6%8B%9F%E5%90%88%E9%97%AE%E9%A2%98%E8%AE%A8%E8%AE%BA

如果訓練誤差曲線和測試誤差曲線之間有很大的空隙，說明你的模型可能有過擬合的問題。

來自 <https://keras-cn.readthedocs.io/en/latest/for_beginners/FAQ/#_3> 

增加訓練數據集 用個參數少點的模型 對損失函數增加懲罰項