實對稱矩陣一定可以對角化

UTF8gbsn

實對稱矩陣一定可以對角化.
最近看共軛梯度下降的時候看到有人的推導裏面用到了這個命題. 雖然以前學過,
但是學得很渣, 所以沒有自己想過這個命題怎麼樣成立的.
現在將這些證明過程梳理一下.

實對稱矩陣含有n個實根

首先我們來證明一個命題, 實對稱矩陣含有n個實根,
注意,n個實根並不一定都是不同的, 可能含有重根.
比如$(r-1)^2=0$就含有兩個重根$r=1$.在計算根數目的時候這個方程的解算兩個.

• 首先, 任意的矩陣$\mathbf{A}$,它的特徵多項式
  $|\mathbf{A}-\lambda\mathbf{I}|=0$
  是一個$n$次多項式(這是很顯然的).
  由於$n$次多項式必定有$n$個根(在複數域上). 這個命題暫不證明,
  直接使用. 我寫過另外一篇文章簡要的證明了一下這個定理.

• 有了上一步的結論,
  我們現在只需要證明每一個根$\lambda_i$是實根就可以了.
  這個證明過程很簡單. 假設$\lambda_i$是任意根之一,
  並且$\mathbf{\alpha}_i$(當然也是在複數域),
  那麼根據特徵值和特徵向量的定義.我們可以得
  $\mathbf{A}\mathbf{\alpha}_i=\lambda_i\mathbf{\alpha}_i$ 取共軛得
  $\mathbf{A}\mathbf{\overline{\alpha}}_i=\overline{\lambda}_i\mathbf{\overline{\alpha}}_i$
  再進行轉置得, 注意$A^T=A$, 對稱矩陣.
  $\mathbf{\overline{\alpha}}_i^T\mathbf{A}=\overline{\lambda}_i\mathbf{\overline{\alpha}}_i^T$
  右邊乘$\mathbf{\alpha}_i$得
  $\mathbf{\overline{\alpha}}_i^T\mathbf{A}\mathbf{\alpha}_i=\overline{\lambda}_i\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_i$

  再看$\mathbf{A}\mathbf{\alpha}_i=\lambda_i\mathbf{\alpha}_i$,
  對它左邊乘$\overline{\mathbf{\alpha}}_i^{T}$可得
  $\mathbf{\overline{\alpha}}_i^T\mathbf{A}\mathbf{\alpha}_i=\lambda_i\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_i$

• 上面兩個式子相減得
  $0=(\mathbf{\overline{\lambda}_i-\lambda_i})\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_i$
  因爲,$\mathbf{\overline{\alpha}}_i^T\mathbf{\alpha}_i$是非0向量.所以我們可得$\overline{\lambda}_i-\lambda_i=0$.
  也就是說$\lambda_i$是實數.
  又因爲$\lambda_i$是任意的特徵值,所以$\mathbf{A}$,
  的所有特徵值都是實數.

實對稱矩陣屬於不同特徵值的特徵向量正交

接下來我們再來證明一個命題,實對稱矩陣屬於不同特徵值的特徵向量正交.我們先假設兩個不同的特徵值位$\lambda_i,\lambda_j$,
他們對應的特徵向量爲$\mathbf{\alpha}_i, \mathbf{\alpha}_j$. 假如,
我們定義$(\mathbf{\alpha}_i, \mathbf{\alpha}_j)$表示點積.
那麼我們可以按照下面的推導.

$\lambda_i(\mathbf{\alpha}_i, \mathbf{\alpha}_j)=(\lambda_i\mathbf{\alpha}_i, \mathbf{\alpha}_j)=(\mathbf{A\alpha}_i, \mathbf{\alpha}_j)=\mathbf{\alpha_j^TA\alpha_i}=\mathbf{\alpha_i^TA\alpha_j}$
$\lambda_j(\mathbf{\alpha}_i, \mathbf{\alpha}_j)=(\mathbf{\alpha}_i, \lambda_j\mathbf{\alpha}_j)=(\mathbf{\alpha}_i, \mathbf{A\alpha}_j)=\mathbf{\alpha_i^TA\alpha_j}$

下相減得$(\lambda_i-\lambda_j)(\mathbf{\alpha}_i, \mathbf{\alpha}_j)=0$,
又因爲$\lambda_i\neq \lambda_j \Rightarrow \mathbf{\alpha}_i^T\cdot \mathbf{\alpha}_j=0$,
也就是正交成立.

實對稱矩陣可對角化

這裏我們使用歸納法來證明.

• 首先假設$n=1$. $\mathbf{A}=a_{11}$. 這個不證自明.

• 假設$n=k-1$, 命題撤成立.

• 現在$n=k$, 我們假設其中一個特徵值位$\lambda_1$,
  那麼我可以使用施密特正交化求一組$R^n$的正交基.
  $T=(\eta_1, \eta_2,\cdots, \eta_n)$. 那麼我們可以得
  $T^{-1}AT=(T^{-1}\lambda_1\eta_1, T^{-1}A\eta_2, \cdots, T^{-1}A\eta_n)$
  又因爲$T^{-1}T=I$, 那麼,
  我們可以得$T^{-1}\eta_1=\mathbf{\varepsilon}_1$. 那麼可得
  $T^{-1}AT=\left( \begin{array}{cc} \lambda_1 & \mathbf{\alpha} \\ \mathbf{0} & \mathbf{B} \end{array} \right)$

  由於$A$, 是一個實對稱矩陣,
  那麼$T^{-1}AT$也是一個實對稱矩陣.進而$\mathbf{\alpha}=\mathbf{0}$.
  由此可見$B$也是一個$(k-1)\times (k-1)$的實對稱矩陣. 按照假設,
  它是可以對角化的.現在假設.
  $T_2^{-1}BT_{2}=diag\{\lambda_2, \lambda_3, \cdots, \lambda_n\}$
  並設 $T_f=T\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)$ 那麼 $T^{-1}_fAT_{f}=\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)^{-1}T^{-1}AT\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)=\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2^{-1} \end{array} \right)\left( \begin{array}{cc} \lambda_1 & 0 \\ 0 & B \end{array} \right)\left( \begin{array}{cc} 1 & 0 \\ 0 & T_2 \end{array} \right)$ $=\left( \begin{array}{cc} \lambda_1& 0 \\ 0 & T_2^{-1}BT_{2} \end{array} \right)=diag\{\lambda_1,\lambda_2, \cdots, \lambda_n\}$

至此, 原式得證. 也就是說實對稱矩陣一定可以對角化.
反過來也說明實對稱矩陣的特徵多項式的代叔重述等於幾何重數.