最後插個小彩蛋，還是轉了陶將博主的一張圖：
下圖是各個算法在等高線的表現，它們都從相同的點出發，走不同的路線達到最小值點。可以看到，Adagrad，Adadelta和RMSprop在正確的方向上很快地轉移方向，並且快速地收斂，然而Momentum和NAG先被領到一個偏遠的地方，然後才確定正確的方向，NAG比momentum率先更正方向。SGD則是緩緩地朝着最小值點前進。
這一章節參考的博文如下：
https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions
https://blog.csdn.net/qq_41997920/article/details/88693888
https://zhuanlan.zhihu.com/p/77686118
https://zhuanlan.zhihu.com/p/73214810
https://zhuanlan.zhihu.com/p/55150256
以上博文均已點贊原博主，nice！