模型训练时如何设置batch_size和learning_rate

根据下图中的文章https://arxiv.org/abs/1706.02677提出的Linear Scale Rule:

学习的大小要和总batch_size成正比（同时考虑每个GPU处理的图片数量和GPU数量）

                                                                                  图1 文章名字

 

 
                                                   图2 linear scale rule