深度學習知識點(1):有關導數、偏導數、方向導數、梯度的基本概念問題

目錄

1、導數

2、偏導數

3、方向導數

4、梯度


1、導數

導數反映的是函數y=f(x)在某一點處沿x軸正方向的變化率。

比如y=x^{2},在x=1處的導數是2。

導數是通過極限來定義的,某一點的導數=tanψ,只是前提是△x趨近於0,此時tanψ=tanα=該點導數,公式如下:

 

注:下圖是高數中的一張經典圖,用於區分導數微分的概念,基本看着這張圖就能全部想起來。

 

解釋一下,是函數f(x)在x軸上某一點處沿着x軸正方向的變化率/變化趨勢。直觀地看,也就是在x軸上某一點處,如果f’(x)>0,說明f(x)的函數值在x點沿x軸正方向是趨於增加的;如果f’(x)<0,說明f(x)的函數值在x點沿x軸正方向是趨於減少的。

 這裏補充上圖中的Δy、dy等符號的意義及關係如下:
 Δx:x的變化量;
 dx:x的變化量Δx趨於0時,則記作微元dx;
 Δy:Δy=f(x0+Δx)-f(x0),是函數的增量;
 dy:dy=f’(x0)dx,是切線的增量;
 當Δx→0時,dy與Δy都是無窮小,dy是Δy的主部,即Δy=dy+o(Δx).
 

2、偏導數

在多元函數中,偏導數指的是函數y(x1,x2,…,xn)沿某一座標軸(x1,x2,…,xn)正方向的變化率。

 

比如z=x^{2}+y^{2},在(1,2)處的在x方向上的偏導數:

截取y=2的曲線,可以發現在x方向的導數=2

3、方向導數

導數和偏導數都是沿座標軸正方向的變化率。那麼當我們討論函數沿任意方向的變化率時,也就引出了方向導數的定義,即:某一點在某一趨近方向上的導數值。

比如,可以計算函數在點A(2,2,8)處沿黑色箭頭方向的導數。這裏有兩種計算方式:

方式1:

方式2:

與x=y聯立方程組,得到過點A的剖面

易知,剖面方程爲z=2x2,以z爲縱軸,x座標軸方向換爲L的方向,得到

點A(2,2,8)在x’方向上的座標爲,因此在A點處沿L方向的導數爲

4、梯度

梯度是一個向量,表示某一函數在該點處的方向導數沿着該方向取得最大值,即函數在該點處沿着該方向(此梯度的方向)變化最快,變化率最大(爲該梯度的模)。

這裏注意三點: 
1)梯度是一個向量,即有方向有大小; 
2)梯度的方向是最大方向導數的方向; 
3)梯度的值是最大方向導數的值。

比如z=x2+y2+xy在點A(2,2,12)處的梯度爲

如圖,在A點,紅色方向是最大方向導數的方向,很明顯紅線方向的導數高於沿着黑線方向的導數。

那麼A點的梯度方向是紅色方向;A點的梯度值爲

參考資料:

https://blog.csdn.net/walilk/article/details/50978864

https://www.cnblogs.com/itmorn/p/11115791.html

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章