Spark成長之路(12)-Gradient Descent

機器學習理論之一
梯度下降

基礎概念

要想了解梯度下降，先來認識下面三個基礎概念。

• 導數
• 偏導數
• 梯度

導數

導數

大學數學我們都學過，簡單複習瞭解下。

比如如下一元二次函數

y=f(x)=ax2+bx+c

它的導函數爲

f′(x)=ax+b

導函數是爲了求解在某點的導數的，導數的意義表示該點的斜率，也表示增長的速度。

偏導數

偏導數

在一元函數中，我們計算導數很自然的就是計算以x爲參數的導數，那麼多元函數中如何計算導數？這就是偏導數的用處了。比如下面二元二次函數：

z=f(x,y)=ax2+by2+c

求x的導數:

∂f/∂x

對y求導就是

∂f/∂y

在求某個參數時候，其他參數被當成了常數。

梯度

梯度就是把偏導數轉換爲向量，比如上面二元二次函數的梯度就是

(∂f/∂x,∂f/∂y)T

求導這個值以後，表示我們的函數在(x,y)點時，沿着

(∂f/∂x,∂f/∂y)T

方向更容易找到最大值，沿着

−(∂f/∂x,∂f/∂y)T

方向更容易找到最小值。

梯度下降

基本概念

• 步長
• 損失函數
• 特徵
• 假設函數