以下內容整理於高數課本以及李宏毅老師的視頻：
我們想要利用梯度下降來求得損失函數的最小值。也就是每次我們更新參數，當前的損失函數總比上一次要小。
假設只有兩個參數θ1和θ2，上圖是損失函數的等值線，紅色點是初始值當前的狀態。以紅色點爲圓心畫圓，在這個圓的範圍內，我們想要找到一個損失函數更小的值。如下圖：
這樣我們就更新了一次參數，損失函數值變小了。再進行相同的操作，以當前點爲圓心，畫圓，再找一個圓內範圍的最小值。如下圖：
這樣我們進行了第二次參數更新，損失函數又變小了。接着我們再進行同樣的操作，就會很容易找到損失函數最小值附近的點。
總體思想是這樣，但是具體要怎麼操作呢，在一個圓的範圍內，哪個方向的點纔是我們想要的值最小的點呢？首先從泰勒公式說起：
一元泰勒公式。
二元泰勒公式。
泰勒公式是用來利用一個函數在某點的信息描述該點附近點的取值信息。
前面假設只有兩個參數θ1和θ2，假設當前參數的取值點爲（a, b），如上圖，將損失函數L在(a, b)點一階展開，u表示損失函數對θ1的偏導，v表示損失函數對θ2的偏導，也就是說向量(u, v)即是現在的梯度方向。損失函數L在(a,b)附近的取值信息可由上圖最下面的式子表示。我們想要的就是在這個附近取一個最小值。
如上圖，做法是以當前點(a, b)爲圓心，半徑爲d(假設這個d足夠小)畫圓，那麼該點的附近範圍就是滿足這樣的參數取值(θ1，θ2）, 且(θ1 - a) ^2 + (θ2 - b)^2 <= d^2。也就是在這個小圓圈範圍內。
將θ1 - a 記作Δθ1， θ2 - b記作Δθ2， 我們的目標就是找到最優的θ1和θ2，使得上面的損失函數L最小。上圖中的s是常數，不用管， 也就是讓 u * Δθ1 + v * Δθ2最小，它可以看成是兩個向量的內積，即向量(u, v)和向量(Δθ1, Δθ2)最小。這裏先說出結論，最小的情況是(Δθ1, Δθ2)與(u, v)反向，下面詳細解釋。
要想u * Δθ1 + v * Δθ2最小，也就是兩個向量的內積最小。考慮內積的直觀意義：兩個向量的內積等於向量1在向量2上面的投影乘以向量2的長度。投影可正可負，當兩向量夾角大於90度時，投影是負的，投影可以表示爲正負號乘以投影的長度
此時我們可以得出這樣的結論：當向量(Δθ1, Δθ2)是與(u,v)反向的時候，損失函數L取最小值。上圖中的
這種方法要求我們畫的圓圈範圍足夠小，從上可知
下面來自高數課本：
