----------首先了解什麼是梯度？

官方解釋：梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（爲該梯度的模）。

爲了更加方便理解我們可以通俗的說：我們對一個多元函數求偏導，會得到多個偏導函數.這些導函數組成的向量,就是梯度。所以針對於一元函數，我們可以假定的以爲它的梯度就是它的導數。

梯度中元素(導函數)的個數的個數同未知數的個數是對應,每一個未知數都可以像求解一元一次函數一樣,通過它所對應的梯度求得最優解。其實求解多元函數和一元函數的道理是一樣的，只不過函數是一元的時候,梯度中只有一個導函數,函數時多元的時候,梯度中有多個導函數。將這麼多個導函數組成一個向量，就是該多元函數的梯度。按照求導取極值的思想，當我們把梯度中的所有偏導函數都變爲0的時候，就可以找到每個未知數的對應解。

我們可以從兩個方面理解微分的意義：

（1）函數圖像中，某點的切線的斜率

（2）函數的變化率

一元微分（單變量微分）與多元微分（當一個函數有多個變量的時候，就有了多變量的微分，即分別對每個變量進行求微分）：

由上可知：梯度實際上就是多變量微分的一般化。

我們可以看到，梯度就是分別對每個變量進行微分即求偏導，然後用逗號分割開，梯度是用<>包括起來，說明梯度其實一個向量。

梯度是微積分中一個很重要的概念，之前提到過梯度的意義

在單變量的函數中，梯度其實就是函數的微分，代表着函數在某個給定點的切線的斜率
在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向，所以梯度的反方向就是我們函數在給定點下降最快的方向。

這也就說明了爲什麼我們需要千方百計的求取梯度！我們需要到達山底，就需要在每一步觀測到此時最陡峭的地方，梯度就恰巧告訴了我們這個方向。梯度的方向是函數在給定點上升最快的方向，那麼梯度的反方向就是函數在給定點下降最快的方向，這正是我們所需要的。所以我們只要沿着梯度的方向一直走，就能走到局部的最低點！（這就引出了下邊梯度下降，思想是什麼，是什麼在下降）

假設下面的曲面是一個多元函數，我們可以把這個曲面看成是由無數條曲線組成，每條曲線代表了多元函數的一個維度，當所有維度都下降到梯度爲0的點，這個點就是多元函數的解的那個點。

-----------------那什麼是梯度下降呢？理解了梯度重點來理解一下里邊的下降？此下降到底指的是什麼下降？

梯度下降是迭代法的一種，可以用於求解最小二乘問題(線性和非線性都可以)。在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降（Gradient Descent）是最常採用的方法之一，另一種常用的方法是解析解。

先以大家經常舉的例子下山的思想的來理解一下什麼是梯度下降，先理解一下梯度下降的思想是什麼？

梯度下降法的基本思想可以類比爲一個下山的過程。假設這樣一個場景：一個人被困在山上，需要從山上下來(i.e. 找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低。因此，下山的路徑就無法確定，他必須利用自己周圍的信息去找到下山的路徑。這個時候，他就可以利用梯度下降算法來幫助自己下山。具體來說就是，以他當前的所處的位置爲基準，尋找這個位置最陡峭的地方，然後朝着山的高度下降的地方走，同理，如果我們的目標是上山，也就是爬到山頂，那麼此時應該是朝着最陡峭的方向往上走。然後每走一段距離，都反覆採用同一個方法，最後就能成功的抵達山谷。

我們同時可以假設這座山最陡峭的地方是無法通過肉眼立馬觀察出來的，而是需要一個複雜的工具來測量，同時，這個人此時正好擁有測量出最陡峭方向的能力。所以，此人每走一段距離，都需要一段時間來測量所在位置最陡峭的方向，這是比較耗時的。那麼爲了在太陽下山之前到達山底，就要儘可能的減少測量方向的次數。這是一個兩難的選擇，如果測量的頻繁，可以保證下山的方向是絕對正確的，但又非常耗時，如果測量的過少，又有偏離軌道的風險。所以需要找到一個合適的測量方向的頻率，來確保下山的方向不錯誤，同時又不至於耗時太多！

再來重溫一下梯度跟梯度下降的概念：

梯度：函數在某一點的梯度是一個自變量空間內的向量。自變量順着梯度方向變化時函數值上升得最快。梯度的模（長度）是函數值上升的速率。梯度朝某方向投影的長度是自變量順着該方向變化時函數值的變化率。
梯度下降：一種優化算法，該算法從任一點開始，沿該點梯度的反方向運動一段距離，再沿新位置的梯度反方向運行一段距離 ...... 如此迭代。解一直朝下坡最陡的方向運動，希望能運動到函數的全局最小點。

所以梯度下降的基本過程就和下山的場景很類似。我們首先要找到梯度，之後不斷從梯度中選擇一個反方向可以使我們的函數下降最快的方向走。即梯度下降中的下降，意思是讓函數的未知數隨着梯度的方向運動。什麼是梯度的方向呢？把這一點帶入到梯度函數中，結果爲正，那我們就把這一點的值變小一些，同時就是讓梯度變小些；當這一點帶入梯度函數中的結果爲負的時候，就給這一點的值增大一些。

（重點理解下降）梯度下降就是讓梯度中所有偏導函數都下降到最低點的過程，都下降到最低點了,那每個未知數(或者叫維度)的最優解就得到了，所以他是解決函數最優化問題的算法。

PS：在對導數進行求解的時候我們需要計算的是未知數x對應的y值，但是由導數延申到梯度的時候就不太一樣了，x跟y都是已知的，x是某一對象的特徵，y是某一對象的這些特徵所歸屬的標籤。而梯度是對所有未知數求偏導，所得偏導函數組成的向量。在多元線性迴歸中，誰纔是未知數呢？我們使用梯度下降法的目的是求解多元線性迴歸中的最小二乘函數的，在最小二乘函數中，已擁有的條件是一些樣本點和樣本點的結果，就是矩陣x和每一條x樣本的lable值y。x是矩陣，y是向量。

如上圖,點A的導函數(此時把導函數看作梯度)爲負，就讓點A沿着函數軌跡往右移動一點，點B的導數爲正，就讓點B往左移動一點,這個移動的過程中，點A和店B的高度都在慢慢下降，所以這個過程叫做梯度下降。

在這個下降的過程中，因爲我們並不知道哪一個點纔是最低點，也沒有辦法來預測下降多少次才能到最低點。這裏梯度下降給出的辦法是：先隨便蒙一個點出來,然後根據這個點每次下降以丟丟。什麼時候下降得到的值(點帶入偏導函數得到的)和上一次的值基本基本一樣也就是相差特別特別小的時候，我們認爲就到了最低點。（如果函數圖像是一個波浪形，我們只能找到其中一個浪谷的最低點，這個點可能不是所有浪谷最低點中的最小值。我們初始點的位置是隨機蒙出來的造成了這種情況，多次隨機可以有效解決解決這個問題。如果我們多次有規律的隨機都沒有采集到的最低點，可能是因爲這個最低點造成的原因是出現了某個離羣值。但其實是不是最小值也並不是特別重要。）

首先，我們有一個可微分的函數。這個函數就代表着一座山。我們的目標就是找到這個函數的最小值，也就是山底。根據之前的場景假設，最快的下山的方式就是找到當前位置最陡峭的方向，然後沿着此方向向下走，對應到函數中，就是找到給定點的梯度，然後朝着梯度相反的方向，就能讓函數值下降的最快！因爲梯度的方向就是函數之變化最快的方向。所以，我們重複利用這個方法，反覆求取梯度，最後就能到達局部的最小值，這就類似於我們下山的過程。而求取梯度就確定了最陡峭的方向，也就是場景中測量方向的手段。

假設J是關於Θ的一個函數，我們當前所處的位置爲 $\Theta _{0}$ 點，要從這個點走到J的最小值點，也就是山底。首先我們先確定前進的方向，也就是梯度的反向，然後走一段距離的步長，也就是α，走完這個段步長，就到達了 $\Theta _{1}$ 這個點！

α在梯度下降算法中被稱作爲學習率或者步長，意味着我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的話，可能導致遲遲走不到最低點，太大的話，即點下降的step就過大,一次性邁過了最低點,導致函數無法找到最優解會導致錯過最低點！

爲什麼要梯度要乘以一個負號？
梯度前加一個負號，就意味着朝着梯度相反的方向前進！我們在前文提到，梯度的方向實際就是函數在此點上升最快的方向！而我們需要朝着下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號。

（1）單變量函數的梯度下降

我們假設有一個單變量的函數：

$J(\Theta )=\Theta ^{2}$

函數的積分： $J'(\Theta )=2\Theta$

初始化，起點爲: $\Theta _{0}=1$

學習率爲： $\alpha =0.04$

根據梯度下降的計算公式： $\Theta _{1}=\Theta _{0}-\alpha \bigtriangledown J(\Theta )$

我們開始進行梯度下降的迭代計算過程：

$\Theta _{0}=1$

$\Theta _{1}=\Theta _{0}-\alpha J'(\Theta _{0})=1-0.4\ast 2\ast 1=0.2$

$\Theta _{2}=\Theta _{1}-\alpha J'(\Theta _{1})=0.2-0.4\ast 2\ast 0.2=0.04$

$\Theta _{3}=\Theta _{2}-\alpha J'(\Theta _{2})=0.04-0.4\ast 2\ast 0.04=0.008$

$\Theta _{4}=\Theta _{3}-\alpha J'(\Theta _{3})=0.008-0.4\ast 2\ast 0.008=0.0016$

如圖，經過四次的運算，也就是走了四步，基本就抵達了函數的最低點，也就是山底

（2）多變量函數的梯度下降

我們假設有一個目標函數： $J(\Theta )=\Theta _{1}^{2}+\Theta _{2}^{2}$

現在要通過梯度下降法計算這個函數的最小值。我們通過觀察就能發現最小值其實就是 (0，0)點。但是接下來，我們會從梯度下降算法開始一步步計算到這個最小值！

我們假設初始的起點爲： $\Theta _{0}=(1,3)$

初始的學習率爲： $\alpha =0.1$

函數的梯度爲： $\bigtriangledown J(\Theta )=<2\Theta _{1},2\Theta _{2}>$

我們發現，已經基本靠近函數的最小值點:

梯度下降算法的實現

下面我們將用python實現一個簡單的梯度下降算法。場景是一個簡單的線性迴歸的例子：假設現在我們有一系列的點，如下圖所示:

我們將用梯度下降法來擬合出這條直線！

首先，我們需要定義一個代價函數，在此我們選用均方誤差代價函數

m是數據集中點的個數
½是一個常量，這樣是爲了在求梯度的時候，二次方乘下來就和這裏的½抵消了，自然就沒有多餘的常數係數，方便後續的計算，同時對結果不會有影響
y 是數據集中每個點的真實y座標的值
h 是我們的預測函數，根據每一個輸入x，根據Θ 計算得到預測的y值，即

我們可以根據代價函數看到，代價函數中的變量有兩個，所以是一個多變量的梯度下降問題，求解出代價函數的梯度，也就是分別對兩個變量進行微分

Code部分：

首先，我們需要定義數據集和學習率：

import numpy as np

# Size of the points dataset.
m = 20

# Points x-coordinate and dummy value (x0, x1).
X0 = np.ones((m, 1))
X1 = np.arange(1, m+1).reshape(m, 1)
X = np.hstack((X0, X1))

# Points y-coordinate
y = np.array([
    3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
    11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)

# The Learning Rate alpha.
alpha = 0.01

接下來我們以矩陣向量的形式定義代價函數和代價函數的梯度：

def error_function(theta, X, y):
    '''Error function J definition.'''
    diff = np.dot(X, theta) - y
    return (1./2*m) * np.dot(np.transpose(diff), diff)

def gradient_function(theta, X, y):
    '''Gradient of the function J definition.'''
    diff = np.dot(X, theta) - y
    return (1./m) * np.dot(np.transpose(X), diff)

最後就是算法的核心部分，梯度下降迭代計算：

def gradient_descent(X, y, alpha):
    '''Perform gradient descent.'''
    theta = np.array([1, 1]).reshape(2, 1)
    gradient = gradient_function(theta, X, y)
    while not np.all(np.absolute(gradient) <= 1e-5):
        theta = theta - alpha * gradient
        gradient = gradient_function(theta, X, y)
    return theta

當梯度小於1e-5時，說明已經進入了比較平滑的狀態，類似於山谷的狀態，這時候再繼續迭代效果也不大了，所以這個時候可以退出循環！

完整的代碼如下：

import numpy as np

# Size of the points dataset.
m = 20

# Points x-coordinate and dummy value (x0, x1).
X0 = np.ones((m, 1))
X1 = np.arange(1, m+1).reshape(m, 1)
X = np.hstack((X0, X1))

# Points y-coordinate
y = np.array([
    3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
    11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)

# The Learning Rate alpha.
alpha = 0.01

def error_function(theta, X, y):
    '''Error function J definition.'''
    diff = np.dot(X, theta) - y
    return (1./2*m) * np.dot(np.transpose(diff), diff)

def gradient_function(theta, X, y):
    '''Gradient of the function J definition.'''
    diff = np.dot(X, theta) - y
    return (1./m) * np.dot(np.transpose(X), diff)

def gradient_descent(X, y, alpha):
    '''Perform gradient descent.'''
    theta = np.array([1, 1]).reshape(2, 1)
    gradient = gradient_function(theta, X, y)
    while not np.all(np.absolute(gradient) <= 1e-5):
        theta = theta - alpha * gradient
        gradient = gradient_function(theta, X, y)
    return theta

optimal = gradient_descent(X, y, alpha)
print('optimal:', optimal)
print('error function:', error_function(optimal, X, y)[0,0])

運行代碼，計算得到的結果如下：