矩陣知識：二次型、正定矩陣、Hessian矩陣、實對稱

一、二次型：

1.1 定義

要特別注意對稱矩陣的係數要除以2

1.2 正交變換法化二次型爲標準型：

1.3 施密特正交化方法

注意在以下的運算中，括號代表內積

1.4 求基礎解系

二、正定矩陣：

2.1 定義

如何判斷對稱陣是否是正定矩陣？

2.2 從幾何意義理解正定二次型

對於最簡單的一元二次函數，當$x \neq 0$時$f(x)>0$恆成立。即一元二次正定型對應的圖像時開口向上，頂點在原點的拋物線，同理二元二次正定型$f(x,y)=x^2+y^2$對應的圖像是開口向上，頂點在原點的拋物面。

拓展到n元正定二次型的圖像也對應着一個拋物線，保證當自變量取值非零向量時，對應的函數值大於零恆成立

2.3 半正定矩陣

2.3.1 圖像

同樣我們可以給出二元半正定二次型的圖像，即當某個自變量的特徵值爲0從而保證當自變量取值爲非零向量時，對應的函數值大於等於0恆成立。

2.3.2 性質

1. 半正定矩陣的行列式非負
2. 兩個半正定矩陣的和是半正定的
3. 非負實數與半正定矩陣的數乘是半正定的
4. 半正定矩陣的特徵值都是非負的

三、Hessian矩陣：

在數學中，Hessian矩陣是一個以向量爲自變量的實值函數的二階偏導數組成的方塊矩陣，如下所示：

$\begin {bmatrix} {\partial ^2f \over \partial x_1^2}& {\partial ^2f \over \partial x_1 \partial x_2}& \dots & {\partial ^2f \over \partial x_1 \partial x_n} \\ {\partial ^2f \over \partial x_2 \partial x_1}& {\partial ^2f \over \partial x_2^2}& \dots & {\partial ^2f \over \partial x_2 \partial x_n}\\ \vdots & \vdots &\ddots & \vdots \\ {\partial ^2f \over \partial x_n \partial x_1}& {\partial ^2f \over \partial x_n \partial x_2} & \dots & {\partial ^2f \over \partial x_n^2} \end {bmatrix}$

如果函數f是連續的，那麼它的Hessian矩陣一定是對稱陣，因爲對函數求偏導的順序不影響偏導的值。
Hessian矩陣可以用於多元函數極值的判定：

兩個求Hessian矩陣的例子：



https://blog.csdn.net/jbb0523/article/details/50598523

四、實對稱矩陣

如果有n階矩陣A，其矩陣的元素都爲實數，且矩陣A的轉置等於其本身($a_{ij}=a_{ji}$)，則稱A爲實對稱矩陣。

4.1 性質

4.1.1 定理一

對稱矩陣的特徵值爲實數、特徵向量是實向量。

4.1.2 定理二

$設\lambda_1,\lambda_2是實對稱矩陣A的兩個特徵值，p_1,p_2是對應的特徵向量，若\lambda_1\ne\lambda_2，則p_1與p_2正交$

證明：
$\lambda_1p_1=Ap_1,\lambda_2p_2=Ap_2,\lambda_1\ne\lambda_2$
$\because A對稱,A=A^T$
$\therefore \lambda_1p_1^T=(\lambda_1p_1)^T=(Ap_1)^T=p_1^TA^T=p_1^TA$
$\therefore \lambda_1p_1^Tp_2=p_1^TAp_2=p_1^T(\lambda_2p_2)=\lambda_2p_1^Tp_2$
$\therefore (\lambda_1-\lambda_2)p_1^Tp_2=0$
$\because \lambda_1\ne\lambda_2$
$\therefore p_1^Tp_2=0，即p_1與p_2正交$

4.1.3 定理三

設A爲n階對稱矩陣，則必有正交矩陣P，使$P^{-1}AP=\Lambda$，其中$\Lambda$是以A的n個特徵值爲對角元素的對角矩陣
或：
$若A=A^T$
$\implies \exist|p|\ne0且P^T=P^{-1}，使P^{-1}AP=\Lambda=diag(\lambda_1,\lambda_2,...,\lambda_n)$

https://wenku.baidu.com/view/f04d366e58fafab069dc0256.html?sxts=1591661298009