關於梯度尋優的理解

問題：爲什麼沿着函數梯度的方向蹦，函數值一定會往增大的方向走或者走向收斂？

假設
設函數爲$f(x)$，$f(x)$的梯度爲$f^{'}(x)$，函數上有一點爲$x_0$，相應的函數值和梯度值爲$f(x_0)、f^{'}(x_0)$。

分類討論

$f^{'}(x)$無非三種狀態：負數、0、正數。

• 當$f^{'}(x_0)<0$時，$f(x)$遞減，所以 $x_0>x_0+f^{'}(x_0)$，所以 $f(x_0)<f(x_0+f^{'}(x_0))$；
• 當 $f^{'}(x_0)=0$ 時，$x_0=x_0+f^{'}(x_0)$，所以會一直原地踏步，也就是所謂的收斂了；
• 當$f^{'}(x_0)>0$時，$f(x)$遞增，所以 $x_0<x_0+f^{'}(x_0)$，所以 $f(x_0)<f(x_0+f^{'}(x_0))$；

應用

• 尋求$f(x)$的極小值時，應向梯度的反方向尋找，即 $x_{n+1}=x_{n}-\alpha f^{'}(x_n)$。
• 尋求$f(x)$的極大值時，應向梯度的方向尋找，即 $x_{n+1}=x_{n}+ \alpha f^{'}(x_n)$。
• 判斷找到極值的條件即$f^{'}(x_0)=0$。

一般尋找的時候會設個步長$\alpha$，也稱學習率。就是每次邁的步子大小，步子邁大了，會來回震盪；邁小了，收斂速度會慢。