神經網絡中 warmup 策略爲什麼有效

這個問題目前還沒有被充分證明，我們只能從直覺上和已有的一些論文[1,2,3]得到推測：

• 有助於減緩模型在初始階段對mini-batch的提前過擬合現象，保持分佈的平穩
• 有助於保持模型深層的穩定性

下面來看一下爲什麼warmup會有這樣的效果。