更多專業的人工智能相關文章，微信搜索 : robot-learner ， 或掃碼
梯度下降並不是一種機器學習算法，而是在通過最小化損失函數從而獲得最佳參數的過程中常用的一種技術手段。微積分理論告訴我們，梯度爲函數在變量空間中任意一點變化率最大的方向導數，即函數沿着梯度方向函數有最大的變化率。而當函數達到最小化值時候，所對應的導數值爲0。既然函數沿着梯度方向具有最大的變化率，那麼在最小化目標函數時候，我們應該沿着負梯度方向去減小函數值。重複這一過程，直到函數值不再發生明顯的變化，則說明已經達到了我們的優化目標。
首先，對於n個維度的變量函數，梯度就是偏導數的集合，如下所示：
根據向量運算法則，我們沿着負梯度方向進行迭代搜索，直到函數值不再發生較大的變化（根據事先設定的閾值）或者迭代次數達到事先規定的閾值。在每一次迭代搜索中，變量的隨着梯度變化形式如下：
其中θ被稱爲步長，用於控制變量空間的優化速度。