線性代數——特徵值與特徵向量

本篇筆記源於《程序員的數學之線性代數》

定義與性質

一般而言，對於方陣A，滿足
$\begin{array}{c} A \boldsymbol{p}=\lambda \boldsymbol{p} \\ \boldsymbol{p} \neq \boldsymbol{o} \end{array}$
的數$\lambda$和向量p分別稱爲特徵值和特徵向量。

幾何學意義

從幾何學意義上講，特徵向量乘上A之後，除了長度會有伸縮變化，方向將不會發生改變。這裏的長度變化倍率便是特徵值。用動態圖描述在2x2矩陣A的作用下，其兩個特徵向量的變化如圖所示：

性質

令$\lambda$，$\boldsymbol{p}$爲方陣A的特徵值和特徵向量，則

• “A有0特徵值”等價於“A是奇異矩陣”（0特徵值就說明存在Ap=o，p不等於o，所以A的ker不爲零，p至少有一維的信息映射到相同的結果，這一維在新空間中就無用了）
• “A沒有0特徵值”等價於“A可逆”（從行列式角度看A對角化後的行列式等於A的行列式，A行列式不爲0於是A可逆）
• 對於$\alpha \neq 0$，$\alpha p$也是A的特徵向量，對應的特徵值都是$\lambda$
• 對於特徵值$\lambda$，若另有向量q也是其特徵向量，那麼p+q也是A的特徵向量，對應特徵值爲$\lambda$
• p是$\alpha A$的特徵向量，對應特徵值爲$\alpha \lambda$
• p是$A+\alpha I$的特徵向量，對應特徵值爲$\alpha+\lambda$
• p是$A^k$的特徵向量，對應特徵值爲$\lambda^k$
• p是$A^{-1}$的特徵向量（前提是A逆存在），對應的特徵值爲$\frac{1}{\lambda}$
• $S^{-1}p$是$S^{-1}AS$的特徵向量，對應的特徵值爲$\lambda$
• 對角矩陣$\operatorname{diag}\left(a_{1}, \cdots, a_{n}\right)$的特徵值爲$a_{1}, \cdots, a_{n}$，對應特徵向量爲$e_{1}, \cdots, e_{n}$
• 分塊對角矩陣各個塊矩陣的特徵向量補0之後就是D的特徵向量

最後一個性質具體描述如下，對
$D=\left(\begin{array}{lll} A & O & O \\ O & B & O \\ O & O & C \end{array}\right)$
p是A特徵向量，q是B特徵向量，r是c特徵向量，則
$\left(\begin{array}{l} p \\ o \\ o \end{array}\right), \quad\left(\begin{array}{l} o \\ q \\ o \end{array}\right), \quad\left(\begin{array}{l} o \\ o \\ r \end{array}\right)$
是D的特徵向量。

重要性質：設$\lambda_{1}, \cdots, \lambda_{k}$是n x n矩陣A的特徵值，$\boldsymbol{p}_{1}, \cdots, \boldsymbol{p}_{k}$是對應的特徵向量。若$\lambda_{1}, \cdots, \lambda_{k}$兩兩不同，則$\boldsymbol{p}_{1}, \cdots, \boldsymbol{p}_{k}$兩兩線性無關。（不相等的特徵值對應的特徵向量線性無關）

---

這個性質的證明需要用反證法和歸納法，大致思路就是假設存在一組$(c_1, \dots , c_k) \neq (0, \dots,0)$使得$\boldsymbol{p}_{1}, \cdots, \boldsymbol{p}_{k}$線性相關，則有
$c_{1} \boldsymbol{p}_{1}+\cdots+c_{k} \boldsymbol{p}_{k}=\boldsymbol{o}$
同時左乘A，有
$c_{1} A p_{1}+\cdots+c_{k} A p_{k}=o$
即
$\lambda_{1} c_{1} \boldsymbol{p}_{1}+\cdots+\lambda_{k} c_{k} \boldsymbol{p}_{k}=\boldsymbol{o}$
第一個式子乘$\lambda_k$倍減去上式，消元消掉$p_k$，得
$\left(\lambda_{1}-\lambda_{k}\right) c_{1} \boldsymbol{p}_{1}+\cdots+\left(\lambda_{k-1}-\lambda_{k}\right) c_{k-1} \boldsymbol{p}_{k-1}=\boldsymbol{o}$
也就是
$c_{1}^{\prime} p_{1}+\cdots+c_{k-1}^{\prime} p_{k-1}=o$
因爲特徵值兩兩不同，原始的c不全爲0，所以這裏的c’也不全爲0，所以就得到了和原式條件一模一樣的少一個變量的等式。
循環往復以此類推。。。
最後得到
$\begin{aligned} c_{1}^{\prime \prime \prime} \boldsymbol{p}_{1} &=\boldsymbol{o} \\ c_{1}^{\prime \prime \prime} & \neq 0 \end{aligned}$
那隻能p爲o了，但是前提是p是特徵向量，所以矛盾。所以$\boldsymbol{p}_{1}, \cdots, \boldsymbol{p}_{k}$只能線性無關了。

---

特徵值計算

計算特徵值就需要用到特徵方程，其實特徵方程並不是新東西，很簡單，給定義式移項就能得到
$(\lambda I-A) \boldsymbol{p}=o$
這就說明$(\lambda I-A)$是個奇異陣，其行列式必爲0。這就建立了等式了。我們把
$\phi_{A}(\lambda) \equiv \operatorname{det}(\lambda I-A)$
稱爲特徵多項式，而$\phi_{A}(\lambda)=0$就稱爲特徵方程。通過解特徵方程，就能得出特徵值了。這裏的特徵值也會解得複數，也有其幾何意義，但是在此就不展開討論了。

筆記到這裏可能有一個疑問，相同的特徵值會不會造成什麼問題？答案是有可能造成一些問題，比如n維矩陣，如果有相同的特徵值，運氣不好的話線性無關的特徵向量可能最多隻能得到小於n個。關於這個現象在後續的筆記中將繼續詳細討論。