特徵值的重要定理：Courant-Fischer min-max theorem 極大極小定理

前言

Courant-Fischer min-max theorem 是特徵值極爲重要的一個性質。 但是國內的各種教材資料包括博客上都很少提及。 我自己在科研中曾經用到過。 近期又碰到了另一個精彩的結論 韋爾定理（Wely theorem），有一個應用極大極小定理的簡潔美妙的證明。 因此， 這篇博文寫一下這個不容忽視的定理。

極大極小定理

首先，本定理針對的是Hermitian 矩陣， 即共軛對稱矩陣。 因爲只有共軛對稱矩陣的特徵值是確定爲實數值的， 其他矩陣很可能是複數值， 而複數值，也就不存在大小關係了。

Courant-Fisher min-max 定理

對於 $n \times n$的矩陣 $\mathbf{A}$, 有：

• $\lambda_{k}=\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x$
• $\lambda_{k}=\max\limits_{\operatorname{dim}(U)=n-k+1} \;\;\; \min \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x$

其中， $\lambda_i$ 是 第 $k$ 小的特徵值。

這個定理在兩年前接觸到的時候一頭霧水， 數院的國獎哥以此幫我證明了一個式子的時候更是驚爲天人。 核心原因是當時對子空間的概念的認知實在太過不足。 現在回頭看雖然仍覺得非常困難，但還是稍微精進了一些。

這個證明， 我參考了維基百科上的證明， 以下是對百科上過程的翻譯：

由於 $\mathbf{A}$是共軛對稱矩陣， 所以根據共軛對稱矩陣的特徵分解的性質， 選定其特徵向量 $\left\{u_{1}, \ldots, u_{n}\right\}$ 作爲一組正交基。 子空間與基相關知識

即， 這就是$n$維空間的 $n$ 個基。

現在， 若有該 $n$維空間的一個子空間 $U$， 其維度爲 $k$, 和子空間 $\mathrm{span}(u_k, \ldots, u_n)$， 必定存在一個交集。 這一點其實可以這樣證明： 首先 $U$的維度是$k$, 而$\mathrm{span}(u_k, \ldots, u_n)$的維度是 $n-k+1$。 也就是說， 兩者的維度之和 大於 $n$。因此， 必定存在一個非零的交集。（這一點其實可以這樣判斷： 如果維度之和剛好是$n$， 那可能兩個子空間剛好由一組正交基的兩部分擴展二成，是沒有交集的。但和爲$n+1$，如果沒有交集，就說明這個空間其實應該有$n+1$個正交基， 這是違背的。沒有想明白的讀者， 可以根據3維空間來想像： 3維空間的兩個二維子空間，必有交集。 而3維空間的1個二維子空間和1個一維子空間，是可以沒有交集的。）

因此， 假設 $v$ 是交集上的一個元素， 即， 既屬於子空間 $U$ 又屬於 子空間 $\mathrm{span}(u_k, \ldots, u_n)$。 那麼， $v\in\mathrm{span}(u_k, \ldots, u_n)$, 因此有：

$x=\sum_{i=k}^{n} \alpha_{i} u_{i}$
(由於 $||x||=1$, 有 $\sum_{i=k}^{n} \alpha_{i}=1$)
那麼，

$x^H\mathbf{A}x=\sum_{i=k}^{n}\alpha_{i}^2u_i^H\mathbf{A}u_i=\sum_{i=k}^{n} \lambda_{i} \alpha_{i}^{2}\ge \lambda_i$

即:

$\ \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x\ge \lambda_i$

對於所有子空間 $U$都成立。 即：

$\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x\ge \lambda_i$

這時候，我們再證另一半：

顯然， 空間 $V=\operatorname{span}\left\{u_{1}, \ldots, u_{k}\right\}$ 作爲選擇的$k$維空間， 有：

$x^H\mathbf{A}x\le \lambda_i$

這個結論過於明顯，不做解釋了。
也就是說， $\ \max \limits_{x \in V,\|x\|=1} x^{H} \mathbf{A} x\le \lambda_i$,
而 $V$ 顯然是 $k$維的子空間 $U$之一， 因此：

$\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x\le \lambda_i$

所以有：

$\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x= \lambda_i$

證畢。

經典應用： 韋爾定理 Wely theorem

對於兩個 $n \times n$ 的共軛對稱矩陣 $\mathbf{A}$ 和 $\mathbf{B}$， 有：

$\lambda_{i}(A)+\lambda_{1}(B) \leq \lambda_{i}(A+B) \leq \lambda_{i}(A)+\lambda_{n}(B)$。

顯然，這是一個極爲有用的定理。

先說下他的證明：

$\begin{aligned} \lambda_{i}(A+B)=& \max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H}(A+B) \boldsymbol{x} \\ &=\max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1}\left(\boldsymbol{x}^{H} A \boldsymbol{x}+\boldsymbol{x}^{H} B \boldsymbol{x}\right) \\ &\ge \max _{\operatorname{dim}(V)=i} \left(\min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1}\boldsymbol{x}^{H} A \boldsymbol{x}+\min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1}\boldsymbol{x}^{H} B \boldsymbol{x}\right) \\ & \geq \max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H} A \boldsymbol{x}+\min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H} \boldsymbol{B} \boldsymbol{x} \\ &=\max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H} A \boldsymbol{x}+\lambda_{\boldsymbol{1}}(B)=\lambda_{i}(A)+\lambda_{\boldsymbol{1}}(B) \end{aligned}$

非常簡潔。

這個定理可以推出一些有用的結論：

• 可以確定兩個共軛對稱矩陣和 的 特徵值的 範圍。
• 一個共軛對稱矩陣 加上一個正定共軛對稱矩陣， 特徵值必增大。