深度學習中的RMSprop算法原理

    在 https://blog.csdn.net/gaoxueyi551/article/details/105238182 一文中，說明了基於Momentum的算法，本文介紹的RMSprop算法的引入背景和Momentum算法相同，底層理論依然是指數加權平均。

    但是，兩者優化思路存在些微差別。爲了和Momentum算法中的符號相區別，引入  和 

                                                                   

                                                                    

    其中， 和   表示對向量的各個分量計算平方。基於上述定義，梯度更新規則變爲

                                                                         

                                                                          

    顯然，Momentum 和 RMSprop是存在區別的。前者是在梯度的更新方向上做優化，沒有考慮數值大小；後者在數值大小上進行優化，在梯度值較大的方向進行適當的減小步伐，在梯度值較小的方向適當增大步伐，沒有考慮方向。個人認爲，兩者在長期的優化效果上基本上是一致的，即減小了個別方向上的震動幅度，加快了收斂速度。