理解雅可比矩陣和海森矩陣

簡介

二階導數表示的導數的變化規律,如果函數是一條曲線,且曲線存在二階導數,那麼二階導數表示的是曲線的曲率,曲率越大,曲線越是彎曲。以此類推,多維空間中的一個點的二階導數就表示該點梯度下降的快慢。以二維圖像爲例,一階導數是圖像灰度變化即灰度梯度,二階導數就是灰度梯度變化程度。

Jacobian相當於一階導數,Hessian相當於二階導數, 一階導數的零點是函數極值點,二階導數的零點就是一階導數的極值點。 信號的一階導數的極值點反映了信號變化的最劇烈程度。有些時候求解極值點是不方便的,找到二階導數的零點可以更好的幫助解決問題。

在工程實際問題的優化設計中,所列的目標函數往往很複雜,爲了使問題簡化,常常將目標函數在某點鄰域展開成泰勒多項式來逼近原函數,此時函數在某點泰勒展開式的矩陣形式中會涉及到海森矩陣。海森矩陣常用於牛頓法解決優化問題,利用海森矩陣可判定多元函數的極值問題。對於非線性優化問題, 牛頓法提供了一種求解的辦法:假設任務是優化一個目標函數F(X), 求函數F(x)的極大極小問題,。可以轉化爲求解函數的導數F′=0的問題, 這樣求可以把優化問題看成方程求解問題。海森矩陣被應用於牛頓法解決的大規模(多變量)優化問題。

雅各比矩陣

雅可比矩陣類似於多元函數的導數,也即是函數對各個自變量的一階導數.。在某個給定點的雅可比行列式提供了 在接近該點時的表現的重要信息. 例如, 如果連續可微函數F在p點的雅可比行列式不是零, 那麼它在該點附近具有反函數. 這稱爲反函數定理. 更進一步, 如果p點的雅可比行列式是正數, 則F在p點的取向不變;如果是負數, 則F的取向相反. 而從雅可比行列式的絕對值, 就可以知道函數F在p點的縮放因子;

在這裏插入圖片描述

海森矩陣

對於一個維度爲n的函數f
在這裏插入圖片描述
其在n維空間某點處的海森矩陣可以表達爲如下:

在這裏插入圖片描述

在二維圖像中,海森矩陣是二維正定矩陣,有兩個特徵值和對應的兩個特徵向量。兩個特徵值表示出了圖像在兩個特徵向量所指方向上圖像變化的各向異性。

圖像中的點性結構具有各項同性,而線性結構具有各向異性。因此我們可以利用海森矩陣對圖像中的線性結構進行增強,濾去點狀的結構和噪聲點。同樣,也可以用於找出圖像中的點狀結構,濾除其他信息。

我們在使用海森矩陣時,不需要把圖像進行泰勒展開,我們只需要直接求取矩陣中的元素即可。一般,對數字圖像進行二階求導使用的是以下方法;
在這裏插入圖片描述
但是這種方法魯棒性很差,容易受到圖像中局部信號的干擾, 計算量很大也不實際拿來使用在圖像計算中。根據線性尺度空間理論(LOG),對一個函數求導,等於函數與高斯函數導數的卷積。由於高斯模板可以將周圍一矩形範圍內所有的點的信息都包含進來,這樣就不會有誤差。所以利用圖像求取hessian矩陣中的元素時,將圖像與高斯函數的二階導數做卷積即可,式子如下;
在這裏插入圖片描述

下面是高斯函數的二階偏導。
在這裏插入圖片描述

使用高斯核進行卷積時候,參數sigma 大小以及窗口大小會影響最終結果。求導窗口的大小有關,求導窗口太小,很多粗的結構會出現中空的現象,因爲中心區域被認爲是點結構了;求導窗口太大,就容易出現細微結構丟失的情況。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章