這兩個算法在嗶哩嗶哩的李宏毅《機器學習》2017年-p18有詳細講解，不懂這兩個算法原理可以去看一下，這裏只是對比兩者區別。
PMSProp算法的形式是
Adagrad算法的形式是
相比於普通的梯度下降算法，在多維情況下Adagrad可以做到隨着迭代次數增多，梯度下降步長越來越小，更加快速收斂。但是可能出現一種情況就是剛開始梯度很大，步長需要降低，到後來梯度變得很小，步長又需要增大。
這裏就引進了PMSProp，我們可以看一下adagrad中的一項
。這一項使得梯度下降步長隨着迭代次數dan單調變小。但是PMSProp中的
不會。