iteration, batchsize, epoch定義、區別和聯繫

iteration： 數據進行一次前向-後向的訓練，就是更新一次參數；
batchsize：每次迭代（iteration）訓練圖片的數量；
epoch：1個epoch就是將所有的訓練圖像全部通過網絡訓練一次。

例：有1280000張圖片，batchsize=256，則1個epoch需要1280000/256=5000次iteration，假如它的max_iteration=450000，則共有450000/5000=90個epoch。