深度學習 batch_size epoch 優化

batch_size:可以理解爲批處理參數,它的極限值爲訓練集樣本總數。

epoch  指深度學習過程中,所有數據迭代的次數。

  • batch_size 太小,算法有可能需要更多epoches 才能收斂。
  • 隨着 batch_size 增大,處理相同數據量的速度越快。
  • 隨着 batch_size 增大,達到相同精度所需要的 epoch 數量越來越多。
  • 由於上述兩種因素的矛盾,batch_size 增大到某個時候,達到時間上的最優。
  • 由於最終收斂精度會陷入不同的局部極值,因此batch_size 增大到某些時候,達到最終收斂精度上的最優。
  • 數據量的增加,要達到最終收斂最優的效果,修改batch_size ,epoch 不一定最好,主要建議調整神經網絡單元來做優化。

 

最後的效果需要通過輸出訓練過程loss acc 圖形來確認,以及其他針對性測試。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章