黑塞矩陣（Hessian Matrix），是一個多元函數的二階偏導數構成的方陣，描述了函數的局部曲率。黑塞矩陣常用於牛頓法解決優化問題，利用黑塞矩陣可判定多元函數的極值問題。在工程實際問題的優化設計中，所列的目標函數往往很複雜，爲了使問題簡化，常常將目標函數在某點鄰域展開成泰勒多項式來逼近原函數，此時函數在某點泰勒展開式的矩陣形式中會涉及到黑塞矩陣。
Hessian Matrix，它有着廣泛的應用，如在牛頓方法、求極值以及邊緣檢測、消除邊緣響應等方面的應用，圖像處理裏，可以抽取圖像特徵，在金融裏可以用來作量化分析。
既然檢測到的對應點確認爲邊緣點，那麼我們就有理由消除這個邊緣點，所以邊緣檢測與邊緣響應消除的應用是一回事。邊緣到底有什麼特徵呢？如下圖所示，一個二維平面上的一條直線，圖像的特徵具體可以描述爲：沿着直線方向，亮度變化極小，垂直於直線方向，亮度由暗變亮，再由亮變暗，沿着這個方向，亮度變化很大。我們可以將邊緣圖像分佈特徵與二次型函數圖形進行類比，是不是發現很相似，我們可以找到兩個方向，一個方向圖像梯度變化最慢，另一個方向圖像梯度變化最快。那麼圖像中的邊緣特徵就與二次型函數的圖像對應起來了，其實二次型函數中的hessian矩陣，也是通過對二次型函數進行二階偏導得到的(可以自己求偏導測試下)，這就是我們爲什麼可以使用hessian矩陣來對邊緣進行檢測以及進行邊緣響應消除，我想大家應該明白其中的緣由了。還是那句話，數學模型其實就是一種反映圖像特徵的模型。
所以Hessian matrix實際上就是多變量情形下的二階導數，他描述了各方向上灰度梯度變化，這句話應該很好理解了吧。我們在使用對應點的hessian矩陣求取的特徵向量以及對應的特徵值，較大特徵值所對應的特徵向量是垂直於直線的，較小特徵值對應的特徵向量是沿着直線方向的。對於SIFT算法中的邊緣響應的消除可以根據hessian矩陣進行判定。
轉自：https://blog.csdn.net/qq_34886403/article/details/83589108