梯度下降是
首先，我們有一個可微分的函數。這個函數就代表着一座山。我們的目標就是找到這個函數的最小值，也就是山底。最快的下山的方式就是找到當前位置最陡峭的方向，然後沿着此方向向下走，對應到函數中，就是找到給定點的梯度 ，然後朝着梯度相反的方向，就能讓函數值下降的最快！因爲梯度的方向就是函數之變化最快的方向(在後面會詳細解釋)
所以，我們重複利用這個方法，反覆求取梯度，最後就能到達局部的最小值，這就類似於我們下山的過程。而求取梯度就確定了最陡峭的方向，也就是場景中測量方向的手段。那麼爲什麼梯度的方向就是最陡峭的方向呢？接下來，我們從微分開始講起
看待微分的意義，可以有不同的角度，最常用的兩種是：
微分
- 函數圖像中，某點的切線的斜率
- 函數的變化率
幾個微分的例子：
上面的例子都是單變量的微分，當一個函數有多個變量的時候，就有了多變量的微分，即分別對每個變量進行求微分
梯度
梯度實際上就是多變量微分的一般化。
下面這個例子：
我們可以看到，梯度就是分別對每個變量進行微分，然後用逗號分割開，梯度是用<>包括起來，說明梯度其實一個向量。
梯度是微積分中一個很重要的概念，之前提到過梯度的意義
在單變量的函數中，梯度其實就是函數的微分，代表着函數在某個給定點的切線的斜率
在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向
這也就說明了爲什麼我們需要千方百計的求取梯度！我們需要到達山底，就需要在每一步觀測到此時最陡峭的地方，梯度就恰巧告訴了我們這個方向。梯度的方向是函數在給定點上升最快的方向，那麼梯度的反方向就是函數在給定點下降最快的方向，這正是我們所需要的。所以我們只要沿着梯度的方向一直走，就能走到局部的最低點！
梯度下降算法的數學解釋
上面我們花了大量的篇幅介紹梯度下降算法的基本思想和場景假設，以及梯度的概念和思想。下面我們就開始從數學上解釋梯度下降算法的計算過程和思想！
此公式的意義是：J是關於Θ的一個函數，我們當前所處的位置爲Θ0點，要從這個點走到J的最小值點，也就是山底。首先我們先確定前進的方向，也就是梯度的反向，然後走一段距離的步長，也就是α，走完這個段步長，就到達了Θ1這個點！
下面就這個公式的幾個常見的疑問：
α是什麼含義？
α在梯度下降算法中被稱作爲學習率或者步長，意味着我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大扯着蛋，哈哈，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的話，可能導致遲遲走不到最低點，太大的話，會導致錯過最低點！
爲什麼要梯度要乘以一個負號？
梯度前加一個負號，就意味着朝着梯度相反的方向前進！我們在前文提到，梯度的方向實際就是函數在此點上升最快的方向！而我們需要朝着下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號
梯度下降算法的實例
我們已經基本瞭解了梯度下降算法的計算過程，那麼我們就來看幾個梯度下降算法的小實例，首先從單變量的函數開始
單變量函數的梯度下降
我們假設有一個單變量的函數
函數的微分
初始化，起點爲
學習率爲
根據梯度下降的計算公式
我們開始進行梯度下降的迭代計算過程：
如圖，經過四次的運算，也就是走了四步，基本就抵達了函數的最低點，也就是山底
多變量函數的梯度下降
我們假設有一個目標函數
現在要通過梯度下降法計算這個函數的最小值。我們通過觀察就能發現最小值其實就是 (0，0)點。但是接下來，我們會從梯度下降算法開始一步步計算到這個最小值！
我們假設初始的起點爲：
初始的學習率爲：
函數的梯度爲：
進行多次迭代：
我們發現，已經基本靠近函數的最小值點
梯度下降算法的實現
下面我們將用python實現一個簡單的梯度下降算法。場景是一個簡單的線性迴歸的例子：
import numpy as np
%matplotlib inline
import pylab
# Size of the points dataset.
m = 20
# Points x-coordinate and dummy value (x0, x1).
X0 = np.ones((m, 1))
X1 = np.arange(1, m+1).reshape(m, 1)
X = np.hstack((X0, X1))
print (X)
# Points y-coordinate
y = np.array([
3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12,
11, 13, 13, 16, 17, 18, 17, 19, 21
]).reshape(m, 1)
# The Learning Rate alpha.
alpha = 0.01
[[ 1. 1.]
[ 1. 2.]
[ 1. 3.]
[ 1. 4.]
[ 1. 5.]
[ 1. 6.]
[ 1. 7.]
[ 1. 8.]
[ 1. 9.]
[ 1. 10.]
[ 1. 11.]
[ 1. 12.]
[ 1. 13.]
[ 1. 14.]
[ 1. 15.]
[ 1. 16.]
[ 1. 17.]
[ 1. 18.]
[ 1. 19.]
[ 1. 20.]]
def error_function(theta, X, y):
'''Error function J definition.'''
diff = np.dot(X, theta) - y
return (1./2*m) * np.dot(np.transpose(diff), diff)
def gradient_function(theta, X, y):
'''Gradient of the function J definition.'''
diff = np.dot(X, theta) - y
return (1./m) * np.dot(np.transpose(X), diff)
def gradient_descent(X, y, alpha):
'''Perform gradient descent.'''
theta = np.array([1, 1]).reshape(2, 1)
gradient = gradient_function(theta, X, y)
while not np.all(np.absolute(gradient) <= 1e-5):
theta = theta - alpha * gradient
gradient = gradient_function(theta, X, y)
return theta
optimal = gradient_descent(X, y, alpha)
print('optimal:', optimal)
lists =optimal.tolist()
w=lists[0][0]
b=lists[1][0]
y_predict = b*X1+w
pylab.plot(X1,y,'o')
pylab.plot(X1,y_predict,'k-')
pylab.show()
print('error function:', error_function(optimal, X, y)[0,0])
optimal: [[0.51583286]
[0.96992163]]
error function: 405.9849624932405
