人工智能-高等數學之偏導數與梯度

高等數學之偏導數與梯度

接着上一篇《人工智能-高等數學之微積分篇》，來學下一篇偏導數與梯度下降，在一元函數中，導數就是函數的變化率。對於二元函數研究它的“變化率”，由於自變量多了一個，情況就要複雜的多。二元函數可以用$z=f(x,y)$表示，如果把$f(x,y)$中的兩個變量圖像化，將得到空間的某個曲面，如果分析$f(x,y)$的變化速度，必然要用到導數，只不過這次是對含有兩個變量的函數求導，但我們只對一個變量求導，只觀察這一個變量的變化，所以叫做求偏導。

1. 偏導的定義

下面表示函數$f(x,y)$在$(x_0,y_0)$處的偏導，對x的偏導：$\frac{∂}{∂x}f(x_0,y_0)$，對y的偏導：$\frac{∂}{∂y}f(x_0,y_0)$，也可以寫成$f_x(x_0,y_0),f_y(x_0,y_0)$，偏導數的公式：
$\frac{∂}{∂x}f(x_0,y_0)=\lim_{\Delta \rightarrow0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x} \\ \frac{∂}{∂x}f(x_0,y_0)=\lim_{\Delta \rightarrow0}\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\Delta y}$

2. 偏導數的意義

設想一個曲面，$z=f(x,y)$中，如果保持y不變，那麼函數將依賴於x的變化，這將得到一個與$x-y$平面平行的切面，切面與$f(x,y)$的交線就是曲線$f(x,y_0)$，偏導數$f_x(x_0,y_0)$就是交線上一點在x軸方向切線的斜率，此時的切線和y軸沒什麼關係。
具體如圖所示，偏導數的幾何意義：

• 偏導數$f_x(x_0,y_0)$就是曲面被平面$y=y_0$所截得的曲面在點$M_0$處的切線$M_0T_x$對x軸的斜率。
• 偏導數$f_y(x_0,y_0)$就是曲面被平面$x=x_0$所截得的曲面在點$M_0$處的切線$M_0T_y$對y軸的斜率。
  

3. 偏導的計算

對某一個變量求偏導的含義是固定其他變量，僅試探這個變量的擾動對函數的影響，所以對某個變量計算偏導，所以只需要把其他的變量全部看作常量，其餘的計算和導數完全一致。
計算 $f(x,y)=x^3y+y^2$的偏導，先對x計算偏導，這相當於把y看做是常量，
求f對x的偏導
$\frac{∂f}{∂x}=\frac{d}{dx}(x^3y)+\frac{d}{dx}y^2=3x^2y+0=3x^2y$
求f對y的偏導
$\frac{∂f}{y}=\frac{d}{dy}(x^3y)+\frac{d}{dy}y^2=x^3+2y$

4. 二階偏導和混合偏導

二階偏導就是求偏導的偏導，過程和求偏導類似，將令一個變量看作常量後對另一個變量反覆求導。
$f_x=\frac{∂f}{∂x}=3x^2y,f_{xx}=\frac{∂^2f}{∂x^2}=\frac{∂(3x^2y)}{∂x}=6xy$
對x的偏導表示函數在x軸方向切線斜率的變化率，也就是斜率變化的快慢，這也和單變量函數的二階函數的二階導數類似。
混合偏導，混合編導就是對一個變量求偏導後再對另一個變量求偏導：
$f_{xy}=\frac{∂^2f}{∂x∂y}=\frac{∂f_x}{∂y}=\frac{∂3x^2y}{∂y}=3x^2$

5. 梯度與方向導數

5.1 梯度

梯度也叫斜度，是一個曲面沿着給定方向的傾斜程度。梯度是一個向量，一個函數在某點的梯度，表示該函數在該點處沿着梯度方向變化最快，變化率最大，即函數在這一點處沿着梯度方向的導數能夠取得最大值。
數學定義是這樣：設二元函數$z=f(x,y)$在平面區域D上具有一階連續偏導數，則對於每一個點$P(x,y)$都可以定出一個向量
$\{\frac{∂f}{∂x},\frac{∂f}{∂y}\}=f_x(x,y)\vec{i}+f_y(x,y)\vec{j}$
該函數$z=f(x,y)$在點$P(x,y)$的梯度，記作$grad f(x,y)$或$\nabla f(x,y)$，即有：
$grad f(x,y)=\nabla f(x,y)=\{\frac{∂f}{∂x},\frac{∂f}{∂y}\}=\frac{∂f}{∂x}=f_x(x,y)\vec{i}+f_y(x,y)\vec{j}$
其中$\nabla=\frac{∂f}{∂x}\vec{i}+\frac{∂f}{∂x}\vec{j}$稱爲（二維的）向量微分算子或Nabla算子。
類似還可以推廣到三元函數$u=f(x,y,z)$在空間區域G內具有一階連續偏導數，點$P(x,y,z)\in G$，稱爲向量
$\{\frac{∂f}{∂x},\frac{∂f}{∂x},\frac{∂f}{∂z}\}=\frac{∂f}{∂x}\vec{i}+\frac{∂f}{∂y}\vec{j}+\frac{∂f}{∂z}\vec{k}$
爲函數$u=f(x,y,z)$在點P的梯度，記爲$grad f(x,y,z)或\nabla f(x,y,z)$

5.2 方向導數

偏導數只能表示多元函數沿某個座標軸方向的導數，除開沿座標軸方向上的導數，多元函數在非座標軸方向上也可以求導數，這種導數稱爲方向導數。很容易發現，多元函數在特定點的方向導數有無窮多個，表示函數值在各個方向上的增長速度。那麼問題來了，哪個方向上的增長速度最大呢？由此引出了上一節中梯度的概念，梯度：是一個矢量，其方向上的方向導數最大，其大小正好是此最大方向導數。這個最大值的方向我們就取名爲梯度方向。
由此我們簡單的總結一下：

• 方向導數是各個方向上的導數
• 偏導數連續纔有梯度存在
• 梯度的方向是方向導數中取到最大值的方向，梯度的值是方向導數的最大值

6. 參考博客鏈接

1. 直觀理解 梯度（gradient）
2. 如何直觀形象的理解方向導數與梯度以及它們之間的關係？
3. 對梯度概念的直觀理解