線性代數及其應用：第五章 特徵值與特徵向量

  前言：這篇blog是《Linear Algebra and Its Applications》第五章的一些學習筆記。

第五章 特徵值與特徵向量

1.特徵值與特徵向量

  對方陣$A_{n\times n}$，其特徵方程表示爲$Ax=\lambda x~~~(x \neq 0)$其中$\lambda$是標量，也叫特徵值(特徵根，本徵值)，$x$是向量，也叫特徵向量。

  其幾何意義：特徵向量的方向是一個特殊的方向，在這個方向上進行矩陣$A$的線性變換，等於在這個方向伸縮$\lambda$倍。

  方陣一定有特徵值，因爲方陣的特徵多項式在複數域內一定能分解成一次因式，但是方陣不一定有實特徵值。

1.1. 求解特徵值與特徵向量

  求解$(A-\lambda I)x=0$要求$x$在$A-\lambda I$的零空間上，所以零空間不爲0，所以$det(A-\lambda I)=0$求解該方程即可得到特徵值$\lambda$，把$\lambda$代回$(A-\lambda I)x=0$求解該方程得到特徵向量$x$。

1.2. 性質

  假設$A_{n \times n}=\{a_{ij}\}$有特徵值$\lambda_{n}$與特徵向量$x_{n}$，則$\left | \begin{matrix} a_{11}-\lambda & ~ & ~ & a_{ij} \\ ~ & a_{22}-\lambda & ~ & ~ \\ ~ & ~ & \dots & ~ \\ a_{ij} & ~ & ~ & a_{nn}-\lambda \\ \end{matrix}\right | =(\lambda_{1}-\lambda)(\lambda_{2}-\lambda)\dots (\lambda_{n}-\lambda)$

下面證明性質會用到上式。

性質一：$\lambda_{1}·\lambda_{2}·\lambda_{3}\dots\lambda_{n}=det(A)$
證明：把$\lambda=0$代入上式即可證明。

性質二：$\lambda_{1}+\lambda_{2}+\lambda_{3}+\dots+\lambda_{n}=Tr(A)=a_{11}+a_{22}+\dots +a_{nn}$
證明：假設把上式等號左右展開，看$\lambda^{n-1}$項的係數，左邊$=(-1)^{n-1}(a_{11}+a_{22}+\dots +a_{nn})\lambda^{n-1}$=右邊=$(-1)^{n-1}(\lambda_{1}+\lambda_{2}+\dots +\lambda_{n})\lambda^{n-1}$，證畢。

性質三：$f(A)$的特徵值是$f(\lambda_{i})$，$f(·)$是多項式函數
證明：$f(A)=a_{n}A^{n}+a_{n-1}A^{n-1}+\dots +a_{1}A+a_{0}$兩邊右乘特徵向量$x$。
$\begin{aligned} f(A)x & =a_{n}A^{n}x+a_{n-1}A^{n-1}x+\dots +a_{2}A^{2}x+a_{1}Ax+a_{0}x \\ & = a_{n}\lambda A^{n-1}x+a_{n-1}\lambda A^{n-2}x+\dots +a_{2}\lambda Ax+a_{1}\lambda x+a_{0}x \\ & = a_{n}\lambda^{2} A^{n-2}x+a_{n-1}\lambda^{2} A^{n-3}x+\dots +a_{2}\lambda^{2}x+a_{1}\lambda x+a_{0}x \\ & \dots \\ & = a_{n}\lambda^{n}x+a_{n-1}\lambda^{n-1}x+\dots +a_{2}\lambda^{2}x+a_{1}\lambda x+a_{0}x \\ & = f(\lambda)x \end{aligned}$

性質四：不同特徵根對應特徵向量一定線性無關。
證明：設$\lambda_{1}$的一個特徵向量$x_{1}$，$\lambda_{2}$的一個特徵向量$x_{2}$，$\lambda_{1} \neq \lambda_{2}$。
令$c_{1}x_{1}+c_{2}x_{2}=0\tag{1}$(1)左乘A得$c_{1}Ax_{1}+c_{2}Ax_{2}=c_{1}\lambda_{1}x_{1}+c_{2}\lambda_{2}x_{2}=0\tag{2}$

(1)左乘$\lambda_{1}$得$c_{1}\lambda_{1}x_{1}+c_{2}\lambda_{1}x_{2}=0 \tag{3}$

(2)-(3)得$c_{2}(\lambda_{2}-\lambda_{1})x_{2}=0$，由於$\lambda_{2}\neq \lambda_{1}$，$x_{2}\neq 0$，故$c_{2}=0$，重複上面方法，消去$c_{2}$，可得$c_{1}=0$，故(1)式子成立一定有$c_{1}=c_{2}=0$，所以$x_{1},x_{2}$線性無關。

性質五：Hamilton-Cayley定理，設$f(\lambda)=|\lambda E-A|=\lambda^{n}+b_{1}\lambda^{n-1}+\dots +b_{n-1}\lambda+b_{n}$則$f(A)=|\lambda E-A|=A^{n}+b_{1}A^{n-1}+\dots +b_{n-1}A+b_{n}E=0$

2. 特徵值分解

2.1. 特徵值分解：

  設$A$的特徵值爲$\lambda_{n}$，特徵向量爲$x_{n}$，令$\Lambda =\left [ \begin{matrix} \lambda_{1} & ~ & ~ & 0 \\ ~ & \lambda_{2} & ~ & ~ \\ ~ & ~ & \dots & ~ \\ 0 & ~ & ~ & \lambda_{n} \\ \end{matrix} \right ]$

$S=\left [ \begin{matrix} | & | & ~ & | \\ x_{1} & x_{2} & \dots & x_{n} \\ | & | & ~ & | \\ \end{matrix} \right ]$

則 $\begin{aligned} A·S & =(A·x_{1}, A·x_{2}, \dots ,A·x_{n}) \\ & = (\lambda_{1} ·x_{1}, \lambda_{2} ·x_{2}, \dots ,\lambda_{n} ·x_{n})=S·\Lambda \end{aligned}$

如果$S$可逆，則$A=S \Lambda S^{-1}$

這就把$A$矩陣分解成對角矩陣，但是要求$S$可逆，等價於要求$S$的列向量線性無關，等價於要求 $A$至少有n個線性無關的特徵向量，我們需要把這$n$個線性無關的特徵向量放到$S$的列向量。

  根據1.2.的性質四，我們知道不同特徵根的特徵向量一定線性無關，所以如果我們知道$A$有$n$個不同的特徵根$\lambda$，則A一定可以進行特徵值分解，若存在特徵根一樣的情況，特徵向量是否線性無關要具體分析，也有可能有n個線性無關的特徵向量，例如下面的矩陣就可以進行特徵值分解。$\left [ \begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \\ \end{matrix} \right ]$下面的矩陣不可以進行特徵值分解。
$\left [ \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \\ \end{matrix} \right ] \left [ \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 0 & 0 & 0 \\ \end{matrix} \right ]$

如果你知道Jordan標準型(後面會講)，就會很清楚這一點。

2.2. 特徵值分解應用：差分方程

  如果$A$可以進行特徵值分解$A=S\Lambda S^{-1}$，則$A^{K}=S\Lambda^{k} S^{-1}$，$\Lambda$是對角矩陣，所以其k次方就是對角線元素分別取k次方。
  知道這個前提後，假設我們要求解斐波那契數列，$F_{k}=F_{k+1}+F_{k+2},F_{0}=0,F_{1}=1$，如果我們想求$F_{n}$的值，構造$u_{k}=\left ( \begin{matrix} F_{k+1} \\ F_{k} \end{matrix} \right )$則$u_{k+1}=\left ( \begin{matrix} F_{k+2} \\ F_{k+1} \end{matrix} \right ) = \left ( \begin{matrix} F_{k+1} +F_{k}\\ F_{k+1} \end{matrix} \right ) = \left ( \begin{matrix} 1 & 1\\ 1 & 0 \end{matrix} \right ) \left ( \begin{matrix} F_{k+1}\\ F_{k} \end{matrix} \right )=A·u_{k}$

所以$u_{k}=Au_{k-1}=A^{2}u_{k-2}=\dots=A^{k}u_{0}=S\Lambda^{k}S^{-1}u_{0}$其中$u_{0}=\left ( \begin{matrix} F_{1}\\ F_{0} \end{matrix} \right )=\left ( \begin{matrix} 1\\ 0 \end{matrix} \right )$我們在求得$u_{n}=S\Lambda^{n}S^{-1}u_{0}$後，取$u_{n}$的第二個元素即是$F_{n}$的值。

2.2.1. 重要差分方程：Markov方陣

  如果$A$是Markov方陣(狀態轉移矩陣)，則$A=\{a_{ij}\}_{n\times n}$滿足，$\sum\limits_{i=1}^{n}a_{ik}=1，0\leq a_{ik} \geq 1$，$a_{ij}$表示從狀態$j$轉移到狀態$i$的轉移概率。以二階爲例，假如我們知道一個初始狀態$\left [ \begin{matrix} X_{0} \\ Y_{0} \end{matrix} \right ]$

且知道Markov方陣(狀態轉移矩陣)$A = \left [ \begin{matrix} a_{00} & a_{01} \\ a_{10} & a_{11} \end{matrix} \right ]$則我們可以知道下一時刻的狀態爲：$A \left [ \begin{matrix} X_{0} \\ Y_{0} \end{matrix} \right ] = \left [ \begin{matrix} a_{00} & a_{01} \\ a_{10} & a_{11} \end{matrix} \right ]\left [ \begin{matrix} X_{0} \\ Y_{0} \end{matrix} \right ] = \left [ \begin{matrix} X_{0}a_{00} +Y_{0}a_{01}\\ Y_{0}a_{10} +Y_{0}a_{11} \end{matrix} \right ] = \left [ \begin{matrix} X_{1} \\ Y_{1} \end{matrix} \right ]$

具體例子可以看blog，這樣能夠更好理解，這裏暫時不講。

  Markov方陣一定有特徵根1，且$\lambda=1$對應穩態，$\lambda<1$對應暫態，如果$\lambda=1$是重根，則有多個穩態，最終的穩態是是這些穩態的線性組合。

2.3. 特徵值分解應用：微分方程

  對於帶有方陣的微分方程$\frac{\partial u}{\partial t} = Au$注意這裏的方陣A是作爲係數，和對矩陣求導不一樣。如果我們要求的是不帶方陣的，我們知道的微分方程$\frac{\partial y}{\partial x} = ay$，則我們可以猜到結果是$y= c·e^{ax}$，$c$是常數，同理我們猜測帶有方陣的微分方程的解是$u(t)=e^{At}·u(0)$，向量$u(0)$是一個初值，和常數$c$的作用類似，我們對$e^{At}$進行泰勒展開(矩陣的很多運算可以類比標量的運算，但不是全部，泰勒展開就是可以類比的)$\begin{aligned} e^{At} & =I+At+\frac{(At)^{2}}{2!}+\frac{(At)^{3}}{3!}+\dots \\ & = S(I+\Lambda t+\frac{(\Lambda t)^{2}}{2!}+\frac{(\Lambda t)^{3}}{3!}+\dots)S^{-1} \\ & = Se^{\Lambda t}S^{-1} \\ & = S \left [\begin{matrix} e^{\lambda_{1}t} & & & 0\\ & e^{\lambda_{2}t} & & \\ & & \dots & \\ 0 & & & e^{\lambda_{n}t} \\ \end{matrix} \right ]S^{-1} \end{aligned}$

所以微分方程的解是$u(t)=Se^{\Lambda t}S^{-1} u(0)=\sum \limits_{i=1}^{N}c_{i}e^{\lambda t}x_{i}$

其中$c=S^{-1}u(0)$，$c_{i}$是$c$的第$i$個元素，$x_{i}$是$S$中第$i$個列向量，也是$\lambda_{i}$對應的特徵向量。

例如我們想求解微分方程$y'''-3y''+2y'=0$則我們可以構造如下的矩陣微分方程$u'=\left [ \begin{matrix} y''' \\ y'' \\ y' \end{matrix} \right ]=\left [ \begin{matrix} 3 & -2 & 0 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \end{matrix} \right ]\left [ \begin{matrix} y'' \\ y'\\ y \end{matrix} \right ]=Au$

  我們進一步討論微分方程，在$t\rightarrow \infty$時的穩定性，我們知道微分方程的解可以表示成$u(t)=\sum \limits_{i=1}^{N}c_{i}e^{\lambda t}x_{i}=c_{1}e^{\lambda t}x_{1}+c_{2}e^{\lambda t}x_{2}+\dots c_{n}e^{\lambda t}x_{n}$。所以微分方程的解有如下三種情況:
情況一：如果所有$\lambda_{i}$的實部小於$0$，則$u(t)$穩定到$0$；
情況二：如果$\lambda_{1}$的實部等於$0$，其餘$\lambda_{i}$的實部小於$0$，則$u(t)$穩定到$c_{1}x_{1}$；
情況三：如果任一$\lambda_{i}$的實部大於$0$，則$u(t)$發散；

  特別的，對於$2\times 2$方陣$A$，由於其特徵方程$det(A-\lambda I)=\lambda^{2}-Trace(A)\lambda + det(A)$

要求其跡$Trace(A)<0$，行列式$det(A)>0$，$A$構成的微分方程$\frac{\partial u}{\partial t} = Au$的解才穩定。

3. 複數矩陣

  複數矩陣就是元素含有複數的矩陣。在複數域，相當於把實數域的轉置T操作，變成了複數域的厄米H操作，厄米操作就是對矩陣求共軛轉置。

  類比轉置操作，厄米操作有如下性質：
性質一：如果復向量$x,y$正交，則$x^{H}y=0$；
性質二：復向量內積，$||x||^{2}=x^{H}x=|x_{1}|^{2}+|x_{1}|^{2}+\dots$
性質三：對復矩陣$A,B$，則$(AB)^{H} = B^{H}A^{H}$

  複數矩陣最有名的應用，就是FFT(快速傅里葉變換)。

3.1. 三個典型的複數矩陣

  複數域：厄米矩陣A: $A=A^{H}$，反厄米矩陣A: $A=-A^{H}$，酉矩陣U: $UU^{H}=I$

  對應實數域：實對稱矩陣A: $A=A^{T}$，反實對稱矩陣A: $A=-A^{T}$，正交矩陣Q: $QQ^{T}=I$

4. 相似變換

  對於方陣$A,B$，如果存在可逆矩陣$M$，使得$B=M^{-1}AM$則稱方陣$B$與方陣$A$相似，從$A$到$B$的變換稱爲相似變換。

  如果$A,B$相似，則$A,B$有相同的特徵值，如果同時$A$有特徵向量$X$，則對應的$B$有特徵向量$M^{-1}X$。證明如下：$AX=\lambda X，且A=MBM^{-1}$則$MBM^{-1}X=\lambda X$所以$B(M^{-1}X)=\lambda (M^{-1}X)$證畢。

  可以說，相似變換把$n\times n$矩陣空間分割成若干子空間，每個子空間可以當做一個類別，子空間內部矩陣相似，因爲相似是可以傳遞的。相似的矩陣有相同的Jordan標準型。第二章中，我們已經證明，如果我們給定線性變換前後，兩個向量空間的基，則這個線性變換可以用矩陣表示，特殊的，如果我們的矩陣是方陣，那麼線性變換其實是在一個向量空間內部，針對同一組基的變換。下面我們會證明，相似的矩陣其實是同一個線性變換，只不過選定的基不同。

證明：假設我們有相似變換$B=M^{-1}AM$

我們的線性變換是$\widetilde{A}$，原先的基是$[u_{1}, u_{2}\dots u_{n}]$，則$\widetilde{A}([u_{1}, u_{2}\dots u_{n}])=[u_{1}, u_{2}\dots u_{n}]A$

新的基$[v_{1}, v_{2}\dots v_{n}]$與原先的基有變換$[v_{1}, v_{2}\dots v_{n}]=[u_{1}, u_{2}\dots u_{n}]M \\ 則[v_{1}, v_{2}\dots v_{n}]M^{-1}=[u_{1}, u_{2}\dots u_{n}]$

那麼我們把線性變換作用到新的$v$基有$\begin{aligned} \widetilde{A}([v_{1}, v_{2}\dots v_{n}]) & =\widetilde{A}([u_{1}, u_{2}\dots u_{n}]M) \\ & = \widetilde{A}([u_{1}, u_{2}\dots u_{n}])M \\ & = [u_{1}, u_{2}\dots u_{n}]AM \\ & = [v_{1}, v_{2}\dots v_{n}]M^{-1}AM \\ & = [v_{1}, v_{2}\dots v_{n}]B \\ \end{aligned}$

所以，針對線性變換$\widetilde{A}$，如果我們限定變換前後的基爲$u$基，則該線性變換可以用矩陣$A$表示；如果我們限定變換前後的基爲$v$基，則該線性變換可以用矩陣$B$表示。

證畢。

4.1. 矩陣相似的應用

  我們可以利用矩陣相似變換，把矩陣變成對角矩陣，以方便我們的進一步求解。

4.1.1 解微分方程

  求解微分方程$\frac{du}{dt}=Au$

如果我們知道矩陣$A$有對角相似矩陣$B$，滿足$B=M^{-1}AM$

則我們可以求得$v$滿足$u=Mv$，則$M\frac{dv}{dt}=AMv$進一步化簡得

$\frac{dv}{dt}=M^{-1}AMv=Bv$

由於$B$是對角矩陣，我們可以輕易求得$v$的取值，進而求得$u$的值。

4.1.2 解差分方程

  求解差分方程$u_{k+1}=Au_{k}$

如果我們知道矩陣$A$有對角相似矩陣$B$，滿足$B=M^{-1}AM$

則我們可以求得$v$滿足$u=Mv$，則$Mv_{k+1}=AMv_{k}$進一步化簡得

$v_{k+1}=M^{-1}AMv_{k}=Bv_{k}$

由於$B$是對角矩陣，我們可以輕易求得$v$，進而求得$u$的值。

4.2. 矩陣分解

  對於任意方陣$A$，一定有復特徵值，可以被酉矩陣$U$分解爲上三角形式$U^{-1}AU=T$，證明過程較爲麻煩，下面以$A_{4 \times 4}$爲例進行證明。

證明：
  $Ax_{1}=\lambda_{1} x_{1}$，$\lambda_{1}$爲$A$的特徵值，$x_{1}$爲特徵向量。

  對$x_{1}$進行單位化，得到$q_{1}$同樣滿足$Aq_{1}=\lambda_{1}q_{1}$。

  找到一組線性無關的向量$q_{1}, b, c, d$，對其進行施密特正交化法得到$q_{1},q_{2},q_{3},q_{4}$。

  構造酉矩陣$U_{1}=[q_{1},q_{2},q_{3},q_{4}]$，則$AU_{1}=[Aq_{1},Aq_{2},Aq_{3},Aq_{4}]=[\lambda_{1}q_{1},Aq_{2},Aq_{3},Aq_{4}]$

  則$\begin{aligned} U_{1}^{-1}AU_{1} & =U_{1}^{-1}[\lambda_{1}q_{1},Aq_{2},Aq_{3},Aq_{4}] \\ & = U_{1}^{H}[\lambda_{1}q_{1},Aq_{2},Aq_{3},Aq_{4}] \\ & = \left [ \begin{matrix} q_{1}^{H} \\ q_{2}^{H} \\ q_{3}^{H} \\ q_{4}^{H} \end{matrix}\right ] \left [ \begin{matrix} \lambda_{1}q_{1},Aq_{2},Aq_{3},Aq_{4} \end{matrix}\right ] \\ & = \left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & * & * & * \\ 0 & * & * & * \\ 0 & * & * & * \end{matrix}\right ] \\ & = \left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & & & \\ 0 & & F_{3 \times 3} & \\ 0 & & & \end{matrix}\right ] \end{aligned}$

$*$表示未知值，也就是我們暫時不關心其取值，對右下角$F_{3 \times 3}$矩陣，我們繼續進行上面的操作，設$Fq'_{1}=\lambda_{2}q'_{1}$，利用施密特正交化法找到$q'_{2},q'_{3}$，設$U_{2}=\left [ \begin{matrix} 1 & 0 & 0 & 0 \\ 0 & & & \\ 0 & q'_{1} & q'_{2} & q'_{3}\\ 0 & & & \end{matrix}\right ]$

  則$\begin{aligned} (U_{1}AU_{1}^{-1})U_{2} & = \left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & & & \\ 0 & & F_{3 \times 3} & \\ 0 & & & \end{matrix}\right ] \left [ \begin{matrix} 1 & 0 & 0 & 0 \\ 0 & & & \\ 0 & q'_{1} & q'_{2} & q'_{3}\\ 0 & & & \end{matrix}\right ] \\ & = \left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & & & \\ 0 & Fq'_{1} & Fq'_{2} & Fq'_{3}\\ 0 & & & \end{matrix}\right ] \\ & = \left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & & & \\ 0 & \lambda_{2}q'_{1} & Fq'_{2} & Fq'_{3}\\ 0 & & & \end{matrix}\right ] \\ \end{aligned}$

其中，第二個等號的求解利用了矩陣的分塊乘法。又有$U_{2}^{-1}=\left [ \begin{matrix} 1 & 0 & 0 & 0 \\ 0 & & q_{1}^{'H} & \\ 0 & & q_{2}^{'H} & \\ 0 & & q_{3}^{'H} & \end{matrix}\right ]=U_{2}^{H}$

  所以$\begin{aligned} U_{2}^{-1}(U_{1}AU_{1}^{-1})U_{2} & =\left [ \begin{matrix} 1 & 0 & 0 & 0 \\ 0 & & q_{1}^{'H} & \\ 0 & & q_{2}^{'H} & \\ 0 & & q_{3}^{'H} & \end{matrix}\right ] \left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & & & \\ 0 & \lambda_{2}q'_{1} & Fq'_{2} & Fq'_{3}\\ 0 & & & \end{matrix}\right ] \\ & =\left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & \lambda_{2} & * & * \\ 0 & 0 & & \\ 0 & 0 & & F'_{2\times 2} \end{matrix}\right ] \end{aligned}$

  繼續對右下角的$F'_{2\times 2}$進行上述操作，找到$U_{3},U_{4}$以及$\lambda_{3},\lambda_{4}$，則存在$U=U_{1}U_{2}U_{3}U_{4}$使得$U^{-1}AU =\left [ \begin{matrix} \lambda_{1} & * & * & * \\ 0 & \lambda_{2} & * & * \\ 0 & 0 & \lambda_{3}& * \\ 0 & 0 & 0 & \lambda_{4} \end{matrix}\right ]$

  若$A$特徵向量與特徵根爲實數，則酉矩陣$U$簡化爲正交矩陣$Q$。

4.3. Normal矩陣

  normal矩陣$N$，滿足$N^{H}N=NN^{H}$，下面介紹六個基本normal矩陣。

  實數域：實對稱矩陣A: $A=A^{T}$，反實對稱矩陣A: $A=-A^{T}$，正交矩陣Q: $QQ^{T}=I$

  複數域：厄米矩陣A: $A=A^{H}$，反厄米矩陣A: $A=-A^{H}$，酉矩陣U: $UU^{H}=I$

  注意實數域與複數域是對應的。

  當然不只有上面幾種normal矩陣，利用分塊的性質，我們還可以輕鬆地構造，例如下面的矩陣也是normal矩陣$\left[ \begin{matrix} Q & 0 \\ 0 & A\end{matrix} \right ]$

  normal矩陣的特殊之處在於，如果對normal矩陣進行4.2. 介紹的矩陣分解，我們得到的會是對角矩陣，即$U^{-1}NU=T=D$，下面簡單證明。

證明：
$\begin{aligned} TT^{H} & =U^{-1}NU·U^{H}N^{H}U \\ & = U^{-1}NN^{H}U \\ & = U^{-1}N^{H}NU \\ & = U^{H}N^{H}U·U^{H}NU \\ & = (U^{H}NU)^{H}·U^{H}NU \\ & = T^{H}T \end{aligned}$

  所以$T$也是normal矩陣，對於一個normal矩陣，如是上三角矩陣，一定也是對角矩陣。證畢。

4.4. 譜定理(spectral thorem)

  我瞭解譜定理是從矩陣分解的角度瞭解的，感覺不是很徹底，這部分可能問題較大，可以不看。
  譜定理是4.2的矩陣分解，針對實對稱矩陣的特殊形式。實對稱矩陣可以被分解成$Q\Lambda Q^{T}$，$\Lambda$是特徵根對角矩陣(可重複)，$Q$是正交的特徵向量方陣。

  注意譜定理$A=Q\Lambda Q^{T}$與特徵值分解$A=S\Lambda S^{-1}$不同，特徵值分解要求$S$列向量線性無關，譜定理要求$Q$列向量單位正交，注意線性無關不一定正交，例如$[1,1,0]$與$[1,0,0]$，兩者線性無關但不正交。

  譜定理使用時，要像4.2.的證明那樣求解。

4.5. Jordan標準型-最一般形式的最簡型

  Jordan標準型曾被認爲是線性代數的巔峯，但由於其在實際應用中不宜使用，且隨後發明了強大的SVD分解，Jordan標準型逐漸的被邊緣化，SVD成爲線性代數的巔峯。

  在矩陣特徵值分解中，我們要求待分解矩陣$A_{n\times n}$至少有n個線性無關的特徵向量，如果A至多有s個線性無關特徵向量，$s < n$，這樣的矩陣稱爲有缺陷的矩陣(defective matrices)，但是這樣的矩陣也可以用類似特徵分解的方法分解到一個最簡單形式，這個最簡形式就是Jordan標準型。$J=M^{-1}AM=\left [ \begin{matrix} J_{1} & & & \\ & \dots & & \\ & & & J_{s}\end{matrix} \right ]$

其中，$J_{i},i=1\dots s$稱爲Jordan塊$J_{i} = \left [ \begin{matrix} \lambda_{i} & 1 & & & & \\ & \lambda_{i} & 1 & & & \\ & & \lambda_{i} & & & \\ & & & \dots &1 & \\ & & & & \lambda_{i} & 1\\ & & & & & \lambda_{i}\\ \end{matrix} \right ]$

在一個Jordan塊中，有同樣的特徵值，對應同一個特徵向量，不同的Jordan塊對應不同的特徵向量，但是不同的Jordan塊可以有相同的特徵值。可見對於一個有缺失的矩陣，其Jordan型會在每一個Jordan塊的次對角線上放1。

  有相同的特徵根的矩陣不一定相似，例如相似到下面的兩個Jordan標準型的矩陣，特徵值都爲2。
$\left [ \begin{matrix} 2 & 1 & & & & \\ & 2 & 1 & & & \\ & & 2 & & & \\ & & & 2 &1 & \\ & & & & 2& 1\\ & & & & & 2\\ \end{matrix} \right ]$$\left [ \begin{matrix} 2 & 1 & & & & \\ & 2 & & & & \\ & & 2 & 1 & & \\ & & & 2 &1 & \\ & & & & 2 & 1\\ & & & & & 2\\ \end{matrix} \right ]$

所以，可以說相似的矩陣可以化簡到同一個Jordan標準型。

4.5.1. 應用

  和特徵值分解類似，Jordan標準型也可以用於求解微分方程和差分方程。

$\frac{du}{dt}=Au \Longrightarrow u(t)=e^{At}u(0)=Me^{Jt}M^{-1}u(0)$

$u_{k+1}=Au_{k} \Longrightarrow u_{k}=A^{k}u_{o}=MJ^{k}M^{-1}u_{0}$

這裏需要計算$J$中Jordan塊$J_{i}^{k}$，計算方法如下$J_{i}=\lambda_{i}I+N=\lambda_{i}\left [ \begin{matrix} 1 & & &\\ & 1 & & \\ & & 1 & \\ & & & \dots \end{matrix} \right ]+\left [ \begin{matrix} 0& 1 & &\\ & 0 & 1 & \\ & & 0 & 1 \\ & & & \dots \end{matrix} \right ]$

利用二項式定理展開$J_{i}^{k}=\lambda_{i}^{k}I+C_{k}^{1}\lambda_{i}^{k-1}N+C_{k}^{2}\lambda_{i}^{k-2}N^{2}$

其中N以$N_{6\times 6}$爲例，$N_{6\times 6}=\left [ \begin{matrix} 0 & 1 & & & & \\ & 0 & 1 & & & \\ & & 0 & 1& & \\ & & & 0 &1 & \\ & & & & 0 & 1\\ & & & & &0\\ \end{matrix} \right ]$

$N^{2}$等於次對角線移動到第三對角線
$N^{2}_{6\times 6}=\left [ \begin{matrix} 0 & 0 & 1& & & \\ & 0 & 0 &1 & & \\ & & 0 & 0& 1& \\ & & & 0 &0& 1\\ & & & & 0 & 0\\ & & & & &0\\ \end{matrix} \right ]$

$N^{3}$等於次對角線移動到第四對角線
$N^{3}_{6\times 6}=\left [ \begin{matrix} 0 & 0 & 0& 1& & \\ & 0 & 0 &0 & 1& \\ & & 0 & 0& 0&1 \\ & & & 0&0& 0\\ & & & & 0 & 0\\ & & & & &0\\ \end{matrix} \right ]$

依次向上移動即可

  計算$e^{J_{i}t}$類似，利用泰勒展開$e^{J_{i}t}=e^{(\lambda_{i} I +N)t}=e^{\lambda_{i} It}e^{ Nt}=e^{\lambda_{i} It}[I+tN+\frac{(tN)^{2}}{2!}+\dots]$

4.6. 涉及相似的矩陣分解

1. 矩陣$A$可對角化，且有n個獨立的特徵向量，則$S^{-1}AS=\Lambda$(特徵值分解);
2. $A$是隨意方陣，存在酉矩陣$U$，使得$U^{-1}AU=T$(相似分解的最一般形式);
3. $A$是normal矩陣，存在酉矩陣$U$，使得$U^{-1}AU=\Lambda$;
4. $A$是隨意方陣，進行Jordan塊對角化，$M^{-1}AM=J$(特徵值分解的最一般性);