卷積神經網絡調參技巧

對於卷積神經網絡的參數設置,沒有很明確的方法,這只是我的一些經驗。

1、learning-rate 學習速率:學習速率越小,模型收斂花費的時間就越長,但是可以提高模型精確度。一般初始設置爲0.1,然後每次除以0.2或者0.5來改進,得到最終值;

2、batchsize 樣本批次容量:影響模型的優化程度和收斂速度,需要參考你的數據集大小來設置,具體問題具體分析

3、weightdecay 權重衰減:用來在反向傳播中更新權重和偏置,一般設置爲0.005;

4、epoch-number 訓練次數:包括所有訓練樣本的一個正向傳遞和一個反向傳遞,訓練至模型收斂即可;(注:和迭代週期iteration不一樣)

而且,也不是說訓練的次數越多,測試精度就會越高,唉,我就出現了越訓練精確度越差的結果,分析後才知道是出現了過擬合,因爲預訓練的模型太複雜,而我的數據集樣本數量太少,種類太單一。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章