Adashift論文解讀

論文提出了一個估計梯度對神經網絡影響的函數$net(g_t)$，這個函數基於Adam二階動量更新規則

作者根據該公式分析，指出Adam存在的幾個個問題：

• 神經網絡在通過Adam優化的過程中，二階動量$v_t$與梯度$g_t$存在正相關，所以當一個$g_t$更新到錯誤方向時，$v_t$更新也會出現錯誤，見公式$v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2$。
• Adam的步長更新存在不均衡問題，見公式$\frac{\alpha}{\sqrt{v_t}}$，即梯度越大的時候，步長更新越小，梯度越小是步長更新越大。最終導致了Adam算法可能不收斂。
• 因此，在Adam的優化中，正確的梯度方向$C$對結果產生的影響小於錯誤的梯度方向$-1$。

作者提出來解決方案，

• 將$g_t$與$v_t$解相關，使用$g_{t-n}$計算$v_t$。
• 將$g_t(t=1......n)$，分爲兩部分，分別用來計算一階動量$m_t$與二階動量$v_t$，即將$v_t$與$m_t$解相關（這塊沒理解爲啥）。
• 對神經網絡不同的層的參數更新使用不同的步長，每層一個步長。每層的參數更新只使用這一層前面參數。
  
  存在的問題：
• 爲何$g_t$與$g_{t-n}$相互獨立，我認爲，這兩個變量必然是$g_t$依賴於$g_{t-n}$，因爲每次更新$\theta$必然依賴於$g$，新的$\theta_{t+1}$更新依賴於$g_t$，$\theta_{t+1}$又影響$g_{t+1}$，所以$g_t、g_{t+1}$相互依賴。