迭代(iteration):神經網絡在訓練數據集上跑一遍
batch size: 每次只使用數據集中的部分樣本
註釋:由於batch size的提出,兩個網絡比較性能的時候,若直接比較迭代的次數,這時已經沒有什麼意義了,因爲兩個網絡的batch size 不一致,因此,又提出了epoch的概念
epoch: 數據集中的所有樣本都跑過一遍
若數據集的樣本總數是4096,
網絡A,經過32次迭代損失函數值足夠低 batch size = 256 所有的樣本需要4096/256=16次迭代,一個epoch包含16次迭代,因此網絡A要經過2個epoch訓練
網絡B,經過16次迭代損失函數值足夠低 batch size = 2048 所有的樣本需要4096/2048=2次迭代,一個epoch包含2次迭代,因此網絡B要經過8個epoch訓練