關於梯度下降的一些概念理解

偏導數的定義

前面已經說明，二元函數z=f(x，y)的圖形一般是一張曲面，它在點(x0，y0)處對x的偏導數相當於一元函數z=f(x，y0)在點x0處的導數，在幾何上，函數z=f(x，y0)的圖形可看成在平面y=y0上的曲線，即曲面z=f(x，y)和平面y=y0的交線。因此，根據一元函數導數的幾何意義可知，偏導數fx(x0，y0)表示曲線 在點M(x0，y0,(x0，y0))處的切線關於x軸的斜率

同樣，偏導數fx(x0，y0)表示曲線在點M0(x0，y0,(x0，y0))處的切線關於y軸的斜率

*方向導數的定義

*梯度的定義

所以沿梯度方向，方向導數的值最大，即變化最快，所以在優化目標函數的時候，自然是沿着負梯度方向去減小函數值，以此達到我們的優化目標。

如何沿着負梯度方向減小函數值呢？既然梯度是偏導數的集合，那麼我們在每個變量軸上減小對應變量值即可。
梯度下降法可以描述如下：