黑塞矩阵（Hessian Matrix），是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。
Hessian Matrix，它有着广泛的应用，如在牛顿方法、求极值以及边缘检测、消除边缘响应等方面的应用，图像处理里，可以抽取图像特征，在金融里可以用来作量化分析。
既然检测到的对应点确认为边缘点，那么我们就有理由消除这个边缘点，所以边缘检测与边缘响应消除的应用是一回事。边缘到底有什么特征呢？如下图所示，一个二维平面上的一条直线，图像的特征具体可以描述为：沿着直线方向，亮度变化极小，垂直于直线方向，亮度由暗变亮，再由亮变暗，沿着这个方向，亮度变化很大。我们可以将边缘图像分布特征与二次型函数图形进行类比，是不是发现很相似，我们可以找到两个方向，一个方向图像梯度变化最慢，另一个方向图像梯度变化最快。那么图像中的边缘特征就与二次型函数的图像对应起来了，其实二次型函数中的hessian矩阵，也是通过对二次型函数进行二阶偏导得到的(可以自己求偏导测试下)，这就是我们为什么可以使用hessian矩阵来对边缘进行检测以及进行边缘响应消除，我想大家应该明白其中的缘由了。还是那句话，数学模型其实就是一种反映图像特征的模型。
所以Hessian matrix实际上就是多变量情形下的二阶导数，他描述了各方向上灰度梯度变化，这句话应该很好理解了吧。我们在使用对应点的hessian矩阵求取的特征向量以及对应的特征值，较大特征值所对应的特征向量是垂直于直线的，较小特征值对应的特征向量是沿着直线方向的。对于SIFT算法中的边缘响应的消除可以根据hessian矩阵进行判定。
转自：https://blog.csdn.net/qq_34886403/article/details/83589108