Jacobian矩陣和Hessian矩陣

1. Jacobian

在向量分析中, 雅可比矩陣是一階偏導數以一定方式排列成的矩陣, 其行列式稱爲雅可比行列式. 還有, 在代數幾何中, 代數曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數羣, 曲線可以嵌入其中. 它們全部都以數學家卡爾·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以發音爲[ja ˈko bi ən]或者[ʤə ˈko bi ən].

雅可比矩陣

雅可比矩陣的重要性在於它體現了一個可微方程與給出點的最優線性逼近. 因此, 雅可比矩陣類似於多元函數的導數.

假設Rn→Rm 是一個從歐式n維空間轉換到歐式m維空間的函數. 這個函數由m個實函數組成: y1(x1,…,xn), …, ym(x1,…,xn). 這些函數的偏導數(如果存在)可以組成一個m行n列的矩陣, 這就是所謂的雅可比矩陣：

⎡⎣⎢⎢⎢⎢⎢⎢⎢∂y1∂x1⋮∂ym∂x1⋯⋱⋯∂y1∂xn⋮∂ym∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥

此矩陣表示爲:JF(x1,…,xn) 或∂(y1,…,ym)∂(x1,…,xn)

這個矩陣的第i行是由梯度函數的轉置yi(i=1,…,m)表示的.

如果p是Rn 中的一點, F在p點可微分, 那麼在這一點的導數由JF(p) 給出(這是求該點導數最簡便的方法). 在此情況下, 由F(p) 描述的線性算子即接近點p的F的最優線性逼近, x逼近於p:

F(x)≈F(p)+JF(p)⋅(x–p)

雅可比行列式

如果m = n, 那麼FF是從n維空間到n維空間的函數, 且它的雅可比矩陣是一個方塊矩陣. 於是我們可以取它的行列式, 稱爲雅可比行列式.

在某個給定點的雅可比行列式提供了 在接近該點時的表現的重要信息. 例如, 如果連續可微函數F在p點的雅可比行列式不是零, 那麼它在該點附近具有反函數. 這稱爲反函數定理. 更進一步, 如果p點的雅可比行列式是正數, 則F在p點的取向不變；如果是負數, 則F的取向相反. 而從雅可比行列式的絕對值, 就可以知道函數F在p點的縮放因子；這就是爲什麼它出現在換元積分法中.

對於取向問題可以這麼理解, 例如一個物體在平面上勻速運動, 如果施加一個正方向的力F, 即取向相同, 則加速運動, 類比於速度的導數加速度爲正；如果施加一個反方向的力F, 即取向相反, 則減速運動, 類比於速度的導數加速度爲負.

1. 海森Hessian矩陣

在數學中, 海森矩陣(Hessian matrix或Hessian)是一個自變量爲向量的實值函數的二階偏導數組成的方塊矩陣, 此函數如下：

f(x1,x2…,xn)

如果f 的所有二階導數都存在, 那麼f 的海森矩陣即：

H(f)ij(x)=DiDjf(x)

其中x=(x1,x2…,xn) ，即H(f) 爲:

⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x21∂2f∂x2∂x1⋮∂2f∂xn∂x1∂2f∂x1∂x2∂2f∂x22⋮∂2f∂xn∂x2⋯⋯⋱⋯∂2f∂x1∂xn∂2f∂x2∂xn⋮∂2f∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

(也有人把海森定義爲以上矩陣的行列式)海森矩陣被應用於牛頓法解決的大規模優化問題.

海森矩陣在牛頓法中的應用

一般來說, 牛頓法主要應用在兩個方面, 1, 求方程的根; 2, 最優化.

1), 求解方程

並不是所有的方程都有求根公式, 或者求根公式很複雜, 導致求解困難. 利用牛頓法, 可以迭代求解.

原理是利用泰勒公式, 在x0 處展開, 且展開到一階, 即f(x)=f(x0)+(x–x0)f′(x0)

求解方程f(x)=0 , 即f(x0)+(x–x0)f′(x0)=0 , 求解x=x1=x0–f(x0)/f′(x0) , 因爲這是利用泰勒公式的一階展開, f(x)=f(x0)+(x–x0)f′(x0) 處並不是完全相等, 而是近似相等, 這裏求得的x1 並不能讓f(x)=0 , 只能說f(x1) 的值比f(x0) 更接近f(x)=0 , 於是乎, 迭代求解的想法就很自然了, 可以進而推出xn+1=xn–f(xn)/f′(xn) , 通過迭代, 這個式子必然在f(x∗)=0 的時候收斂. 整個過程如下圖：