清華大學公開課線性代數2——第1講：正定矩陣

此博客停止更新遷移至SnailDove’s Blog，查看本文點擊 此處
筆記源自：清華大學公開課：線性代數2——第1講：正定矩陣，涉及：正定矩陣、二次型、合同、慣性定理、Hessian

提示：如果文中圖片看不清文字，請右鍵單擊鼠標，選擇在新窗口打開圖片，然後放大圖片（這邊上傳之前都是可以看清的，由於網頁正文部分大小固定，因此圖片被自動縮小以便適配網頁），截圖部分是課堂ppt老師隨手的板書。

目錄

引言

矩陣特徵值的正負在求解微分方程和差分方程時，會影響解是否收斂，例如上圖如果λi<0${\lambda }_i<0$ 那麼eλit$e^{{\lambda }_{i}t}$ 隨着t→∞,eλit→0$t\to \mathrm{\infty },e^{{\lambda }_{i}t}\to 0$

主子式

實對稱矩陣A正定的充要條件

下列6項條件，滿足任意一項即可判定實對稱矩陣A$A$ 爲正定矩陣：

證明

(1)⇒(2):$(1)\Rightarrow (2):$ 對實對稱矩陣A$A$ ，那麼存在正交陣Q$Q$ ，使得AQ=QΛ→A=QΛQT$AQ=Q\mathrm{\Lambda }\to A=Q\mathrm{\Lambda }{Q}^T$ ，其中Λ=diag(λ1,...,λn)$\mathrm{\Lambda }=diag({\lambda }_1,...,{\lambda }_n)$ 。於是對於任意非零向量x$x$，有xTAx=xTQΛQTx=yTΛy=λ1y12+...+λnyn2>0,y=QTx=(y1,...,yn)≠0⃗ $x^{T}Ax=x^{T}Q\mathrm{\Lambda }{Q}^{T}x=y^T\mathrm{\Lambda }y={\lambda }_1{y_1}^2+...+{\lambda }_n{y_n}^2>0,y=Q^{T}x=(y_1,...,y_n)\ne \overrightarrow{0}$

(2)⇒(1):$(2)\Rightarrow (1):$ 設Ax=λx(x≠0)$Ax=\lambda x(x\ne 0)$ 則0<xTAx=xTλx=λ||x||2$0<x^{T}Ax=x^T\lambda x=\lambda ||x|{|}^2$ ，因此所有λi>0${\lambda }_i>0$ 。

(2)⇒(3):$(2)\Rightarrow (3):$ 由於行列式等於矩陣特徵值的乘積，故(2)⇒(1)⇒(3)detA=λ1...λn>0$(2)\Rightarrow (1)\Rightarrow (3)detA={\lambda }_1...{\lambda }_n>0$ ：

(2)0<(xTk0)(Ak∗∗∗)(xk0)=xkTAkxk=xkT⎛⎝⎜⎜⎜⎜⎜⎜λ1...λk⎞⎠⎟⎟⎟⎟⎟⎟x,(1≤k≤n)⇒(1)λi>0,(1≤i≤k,1≤k≤n)⇒(3)detAk>0,(1≤k≤n)$$\begin{gathered} (2)0<\left(\begin{array}{cc}{x}_k^T& 0\end{array}\right)\left(\begin{array}{cc}{A}_k& \ast \\ \ast & \ast \end{array}\right)\left(\begin{array}{c}{x}_k\\ 0\end{array}\right)={x_k}^T{A}_k{x}_k={x_k}^T\left(\begin{array}{cc}{\lambda }_1& \\ & .\\ & & .\\ & & & .\\ & & & & {\lambda }_k\end{array}\right)x,(1\le k\le n) \\ \Rightarrow (1){\lambda }_i>0,(1\le i\le k,1\le k\le n)\Rightarrow (3)det{A}_k>0,(1\le k\le n) \end{gathered}$$

(3)⇒(4)$(3)\Rightarrow (4)$ ：順序主子式與主元有直接聯繫，因爲第k個主元dk=detAkdetAk−1$d_k=\frac{det{A}_k}{det{A}_{k-1}}$ ，所以(3)⇒(4)dk>0$(3)\Rightarrow (4)d_k>0$ ，其中Ak$A_k$ 是第k$k$ 個順序主子矩陣（the k-th leading principal sub-matrix）。

(4)⇒(2)$(4)\Rightarrow (2)$ ：由對稱矩陣的Gauss消元法得A=LDLT$A=LD{L}^T$ 且對角陣D=diag(d1,...dn)$D=diag(d_1,...d_n)$ 的對角元爲A的主元，L$L$ 是下三角矩陣，LT$L^T$ 是上三角矩陣，而且根據分解結果知道L$L$ 的主對角線上全元素爲1，也即LT$L^T$ 的主元全爲1，即LT$L^T$ 行列式爲1且是方陣，那麼這倆都可逆。因爲(4):d1,...,dn$(4):d_1,...,d_n$ 大於0，那麼到：x≠0⇒y=LTx≠0⇒xTAx=xTLDLTx=yTDy=d1y21+...+dny2n>0$x\ne 0\Rightarrow y=L^{T}x\ne 0\Rightarrow x^{T}Ax=x^{T}LD{L}^{T}x=y^{T}Dy=d_1{y}_1^2+...+d_n{y}_n^2>0$ 。

可逆矩陣齊次方程只有零解

(2)⇒(5)$(2)\Rightarrow (5)$ ：A=LDLT=LD−−√D−−√LT=(D−−√LT)T(D−−√LT)$A=LD{L}^T=L\sqrt{D}\sqrt{D}{L}^T=(\sqrt{D}{L}^T{)}^T(\sqrt{D}{L}^T)$ ，此時可取R=D−−√LT$R=\sqrt{D}{L}^T$ ，因爲D−−√,LT$\sqrt{D},L^T$ 都可逆且都是方陣，由於(2)⇒(3)⇒(4)$(2)\Rightarrow (3)\Rightarrow (4)$ ，因此D−−√>0$\sqrt{D}>0$ ，且有上面推導得|LT|>0$|L^T|>0$ ， 可逆矩陣乘積還是可逆。

根據行列式性質：|A||B|=|AB|$|A||B|=|AB|$ , 當A,B$A,B$ 均可逆，那麼|A|>0,|B|>0→|AB|>0$|A|>0,|B|>0\to |AB|>0$ , 所以AB$AB$ 也可逆。

或者：A=QΛQT=QΛ−−√Λ−−√QT=(Λ−−√QT)(Λ−−√QT)$A=Q\mathrm{\Lambda }{Q}^T=Q\sqrt{\mathrm{\Lambda }}\sqrt{\mathrm{\Lambda }}{Q}^T=(\sqrt{\mathrm{\Lambda }}{Q}^T)(\sqrt{\mathrm{\Lambda }}{Q}^T)$ ，此時可取 R=Λ−−√QT$R=\sqrt{\mathrm{\Lambda }}{Q}^T$ ，同理可得。

(5)⇒(2)$(5)\Rightarrow (2)$ ：A=RTR⇒xTAx=xTRTRx=(Rx)TRx=||Rx||2≥0$A=R^{T}R\Rightarrow x^{T}Ax=x^T{R}^{T}Rx=(Rx{)}^{T}Rx=||Rx|{|}^2\ge 0$ 且R$R$ 是列滿秩，除了x=0$x=0$ 之外，其餘 xTAx=||Rx||2>0$x^{T}Ax=||Rx|{|}^2>0$ ，即(5)⇒(2)$(5)\Rightarrow (2)$

(6)⇐⇒(2)$(6)\Leftarrow \Rightarrow (2)$ :

典型例子

正定矩陣的性質

如果A,B$A,B$ 是正定矩陣，那麼A+B$A+B$ 也是正定矩陣

如果A$A$ 爲正定矩陣，則存在矩陣C$C$ ，滿足A=C2$A=C^2$

如果A$A$ 爲正定矩陣，則矩陣A$A$ 的冪也是正定的

如果A$A$ 爲正定矩陣，矩陣C$C$ ，那麼B=CTAC$B=C^{T}AC$ 也是正定的

注：其實B稱爲A的合同矩陣

半正定矩陣的判別條件

二次型

定義

注意：這裏證明裏面 A−AT2$\frac{A-A^T}{2}$ 是反對稱矩陣，利用反對稱矩陣性質，所以 xTA−AT2x=0$x^T\frac{A-A^T}{2}x=0$ 。二次型與判定正定矩陣的第二條準則密切相關。

例子

對角形

二次型化成對角形

注：由於實對稱矩陣A$A$ 可以與二次型一一對應，因此，可以藉助實對稱矩陣研究二次型。

主軸定理principal axis theorem

有心二次型central_conic

三維空間中的二次曲面-6類基本的二次曲面

R3$R^3$ 種的二次曲面的方程形如:
a11x2+a22y2+a33z2+2a12xy+2a13xz+2a23yz+b1x+b2y+b3z+c=0$a_{11}{x}^2+a_{22}{y}^2+a_{33}{z}^2+2a_{12}xy+2a_{13}xz+2a_{23}yz+b_{1}x+b_{2}y+b_{3}z+c=0$ .

注：由於二次型可以與實對稱對稱矩陣一一對應，二次型裏面又包括二次曲面，所以實對稱矩陣可以跟二次曲面對應起來。

二次型的分類

二次型與特徵值

二次型的一個應用——求二次型的幾何形狀

把二次型的部分去化成對角形的標準型，相應的這個一次項也作了變換，於是再做配方然後去跟基本的形狀做比較得出這個曲面的幾何形狀，這是二次型的一個應用。

合同congruent

前言

注：非退化矩陣即滿秩矩陣

定義

例子

主軸定理與合同

合同的性質

證明:
矩陣A$A$ 左乘可逆矩陣CT$C^T$ 相當於做初等行變換，右乘以可逆矩陣C$C$ 相當於做初等列變換，因此根據消元法知道並不改變矩陣A$A$ 的秩。對稱性保持證明在於二次型定義可以看到。

1.利用初等變換不改變矩陣的秩，因爲可逆矩陣可以表示爲初等矩陣的乘積，而A乘初等矩陣相當於對A作初等變換，所以A的秩不變-。這個方法包括了可逆矩陣左乘A，右乘A，或是左右同時乘A
2.利用 r(AB)

慣性定理Sylvester’s law of inertia的證明

慣性定理的應用

正負定矩陣在函數極值中的應用

以二元函數f(x,y)$f(x,y)$ 爲例：設(x0,y0)$(x_0,y_0)$ 是二元函數f(x,y)$f(x,y)$ 的一個穩定點，即：∂f∂x(x0,y0)=∂f∂y(x0,y0)=0$\frac{\mathrm{\partial }f}{\mathrm{\partial }x}(x_0,y_0)=\frac{\mathrm{\partial }f}{\mathrm{\partial }y}(x_0,y_0)=0$ 。如果f(x,y)$f(x,y)$ 在(x0,y0)$(x_0,y_0)$ 的領域裏有三階偏導數，則f(x,y)$f(x,y)$ 在(x0,y0)$(x_0,y_0)$ 可展開成Talor級數：

黑塞Hessian矩陣

黑塞矩陣（Hessian Matrix），又譯作海森矩陣、海瑟矩陣、海塞矩陣等，是一個多元函數的二階偏導數構成的方陣，描述了函數的局部曲率。黑塞矩陣最早於19世紀由德國數學家Ludwig Otto Hesse提出，並以其名字命名。黑塞矩陣常用於牛頓法解決優化問題，利用黑塞矩陣可判定多元函數的極值問題。在工程實際問題的優化設計中，所列的目標函數往往很複雜，爲了使問題簡化，常常將目標函數在某點鄰域展開成泰勒多項式來逼近原函數，此時函數在某點泰勒展開式的矩陣形式中會涉及到黑塞矩陣。