【矩陣論】對稱矩陣特徵值的性質與直積

前言

在許多實際問題中，所產生的矩陣往往都是對稱矩陣，比如我們耳熟能詳的實對稱矩陣也是重要的研究對象。以下就從實對稱矩陣的角度出發，利用特徵值的極小極大原理，從普通特徵值問題$Ax=\lambda x$衍生到廣義特徵值問題$Ax=\lambda Bx$逐步討論其特徵值的性質。

【廣義特徵值問題】設$A=(a_{ij})\in \mathbb{R}^{n\times n}$是$n$階實對稱矩陣，$B=(b_{ij})\in \mathbb{R}^{n\times n}$是$n$階實對稱正定矩陣，使下式 $\mathbf{Ax=\lambda Bx}$ 有非零解向量$x\in \mathbb{R}^{n}$，則稱$\lambda$是矩陣$A$相對於矩陣$B$的特徵值，且$x$是屬於$\lambda$的特徵向量。該問題常見於振動理論。

我們可以發現

• 當$B\not=I$時，該問題是廣義特徵值問題
• 當$B=I$時，該問題是普通特徵值問題

思路：如何利用極小極大原理求第$k$個特徵值及奇異值？

利用極大極小原理，我們先確定$n$階實對稱陣的最大最小特徵值，然後逐步求第2大和第2小特徵值進而歸納到求第$k$大和第$k$小特徵值。

本文就對稱矩陣特徵值的極性與直積做以梳理，完整定理證明請參考西工大的《矩陣論》[1]。

一、實對稱矩陣的瑞利商與廣義瑞利商性質

我們在討論實對稱矩陣的特徵值時，往往會通過實對稱陣的瑞利商來研究，因爲瑞利商是由如下特徵值問題推導出來的，它可以直接求出矩陣的特徵值。
$Ax=\lambda x \Rightarrow x^TAx=\lambda x^Tx \Rightarrow \lambda=\frac{x^TAx}{x^Tx}=R(x)$

【瑞利商定義】設$A=(a_{ij})\in \mathbb{R}^{n\times n}$是$n$階實對稱矩陣，$x\in \mathbb{R}^{n}$，則稱下式爲矩陣$A$的瑞利商($\text{Rayleigh}$商) $\mathbf{R(x) = \frac{x^TAx}{x^Tx}} \quad (x\not=\mathbf{0})$

【廣義瑞利商定義】設$A=(a_{ij})\in \mathbb{R}^{n\times n},B=(b_{ij})\in \mathbb{R}^{n\times n}$均是$n$階實對稱矩陣，且$B$正定，$x\in \mathbb{R}^{n}$，則稱下式爲矩陣$A$相對於矩陣$B$的廣義瑞利商$\mathbf{R(x) = \frac{x^TAx}{x^TBx}} \quad (x\not=\mathbf{0})$

• 【性質1】：$R(x)$是$x$的連續函數
• 【性質2】：$R(x)$是$x$的零次齊次函數（齊次性$R(kx)=R(x)$）
  事實上，對於任意實數$\lambda \not=0$有下式分別滿足齊次性和零次
  $R(\lambda x)=R(x)=\lambda^0 R(x)$
• 【性質3】：當$x$是由$x_0\not=0$張成的空間時，$R(x)$是一常數
• 【性質4】：$R(x)$的最大最小值存在，且能夠在單位球面$S=\{x|x\in \mathbb{R}^n,\|x\|_2=1\}$上達到
• 【性質5】：非零向量$x_0$是$R(x)$的駐點$\Leftrightarrow x_0$是$Ax=\lambda Bx$的特徵向量，當$B=I$時對應於瑞利商問題同理，通過矩陣求導可得

一般情況下，我們令實對稱矩陣$A$的特徵值按從小到大順序排列如下
$\lambda_1 \le \lambda_2 \le... \le \lambda_n$
對應標準正交特徵向量係爲$p_1,p_2,...,p_n$。

【定理】設$A=(a_{ij})\in \mathbb{R}^{n\times n}$是$n$階實對稱矩陣，則有 $\mathbf{\min_{x\not=\mathbf{0}} R(x) = \lambda_1,\quad \max_{x\not=\mathbf{0}} R(x) = \lambda_n ,\quad \lambda_1 \le R(x) \le \lambda_n}$

【證明】任取$\mathbf{0}\not=x \in \mathbb{R}^n$，則有
$x=c_1p_1+c_2p_2+...+c_np_n \quad (c_1^2+c_2^2+...+c_n^2\not=0)$
由於$p_1,p_2,...,p_n$是正交特徵向量系，所以有$x_i=c_ip_i$
於是有
$\begin{aligned} Ax&=\lambda x=\lambda_1c_1p_1+\lambda_2c_2p_2+...+\lambda_nc_np_n\\ x^TAx & =c_1^2\lambda_1+c_2^2\lambda_2+...+c_n^2\lambda_n \\ x^Tx & =c_1^2+c_2^2+...+c_n^2 \\ \end{aligned}$
令$k_i=\frac{c_i^2}{c_1^2+c_2^2+...+c_n^2}$，其中$k_1+k_2+...+k_n=1$，則有
$R(x) =\frac{x^TAx}{x^Tx}=k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n$
簡單起見，假設$A$是$2$階實對稱陣，即僅有兩個特徵值$\lambda_1,\lambda_2$滿足$R(x)=k_1\lambda_1+k_2 \lambda_2\;(k_1+k_2=1)$，則如下圖所示

從上圖，我們可以清晰的看出$R(x)$是$x$的連續函數，該集合也被稱爲凸包，由此可得
$\lambda_1 \le R(x) \le \lambda_n$
可以通過如下式子驗證$R(p_1)=\lambda_1$
$R(p_i) =\frac{p_i^TAp_i}{p_i^Tp_i}=\lambda_i$
有了$p_k$或$x_k$，我們可以直接求得第$k$小特徵值$\lambda_k$。但問題來了，如果我們不知道$p_k$或者不想依賴於$x_k$，我們如何求得第$k$小特徵值$\lambda_k$呢？這就需要下面一章的極小極大原理了。

【重要推論】若$\lambda_1=...=\lambda_k(1\le k \le n)$，則在$\|x\|_2=1$上，$R(x)$的所有極小點爲 $\mathbf{l_1p_1+l_2p_2+...+l_kp_k}$ 其中，$l_i\in R(i=1,...,k)$，且滿足$l_1^2+l_1^2+..+l_k^2=1$.

二、普通與廣義特徵值的極小極大原理

由上章，我們得到幾個工具，令$V_n=\text{span}\{x_1,x_2,...,x_n\}\;(\lambda_1 \le \lambda_2 \le... \le \lambda_n )$則有
$R(x) =\frac{x^TAx}{x^Tx}=k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n$
$\lambda_1 \le R(x) \le \lambda_n \Rightarrow \begin{cases} \min_{x\not=\mathbf{0},x\in V_n} R(x) = \lambda_1 \\ \max_{x\not=\mathbf{0},x\in V_n} R(x) = \lambda_n \\ \end{cases}$
當我們想求$\lambda_2,\lambda_{n-1}$時，可以通過縮小張成的子空間得到
$\begin{aligned} \lambda_{2}= \min_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_{1}=0 \\ \end{aligned} \\ \vdots \\ \begin{aligned} \lambda_{i}= \min_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_1=k_2=...=k_{i-1}=0 \\ \end{aligned} \\$
同理得
$\begin{aligned} \lambda_{n-1}= \max_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_{n}=0 \\ \end{aligned} \\ \vdots \\ \begin{aligned} \lambda_{n-i-1}= \min_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_n=k_{n-1}=...=k_{n-i}=0 \\ \end{aligned} \\$
因此，我們可以歸納出如下定理

【定理】設$x\in L(p_r,p_{r+1},...,p_s),1 \le r \le s \le n$，則有 $\mathbf{\min_{x\not=0} \; R(x) =\lambda_r \quad \max_{x\not=0} \; R(x) =\lambda_s}$

2.1 引出問題：由於$V_k$不唯一導致得到多個特徵值

但以上定理在$p_r,p_{s}$未知下無法使用，因此我們不再指定讓某個係數$k_i=0$，而是選取$k$維子空間$V_k$來求，由於$V_k$是不唯一的，因此可能會得到多個特徵值，例如我們想要得到$\lambda_2$，則選取$V_{n-1}$，有如下兩種情況

$\min_{x\not=0}\; R(x)= \begin{cases} \lambda_{1} \quad \;\;\; \text{if} \;\; x_1 \in V_{n-1} \\ \lambda_{2} \quad \;\;\; \text{if} \;\; x_1 \notin V_{n-1} \\ \end{cases}$
$\max_{x\not=0}\; R(x)= \begin{cases} \lambda_{n} \quad \;\;\; \text{if} \;\; x_n \in V_{n-1} \\ \lambda_{n-1} \quad \text{if} \;\; x_n \notin V_{n-1} \\ \end{cases}$

2.2 解決問題：使用極大極小原理固定特徵向量

對於上述子空間$V_k$不唯一情況，得到
$\min_{0\not =x\in V_{n-1}} R(x)\le \lambda_{2} \quad \max_{0\not =x\in V_{n-1}}\ R(x)\ge \lambda_{n-1}$
爲解決此問題，我們使用極小極大原理得到
$\lambda_{2} = \max_{V_{n-1}} \left[ \min_{0\not =x\in V_{n-1}} R(x) \right] ,\; \; \lambda_{n-1} = \min_{V_{n-1}} \left[ \max_{0\not =x\in V_{n-1}} R(x) \right]$
爲此，我們歸納出一般的式子，我們

【定理】設$V_k$是$\mathbb{R}^n$中的任意一個$k$維子空間，則普通特徵值問題與廣義特徵值問題從小到大的第$k$個特徵值和$n-(k-1)$個特徵值具有如下極小極大性質
$\mathbf{\lambda_{n-(k-1)} = \max_{V_{k}} \left[ \min_{0\not =x\in V_{k}} R(x) \right] ,\; \; \lambda_{k} = \min_{V_{k}} \left[ \max_{0\not =x\in V_{k}} R(x) \right] }$

• 左式被稱爲特徵值的極大極小原理
• 右式被稱爲特徵值的極小極大原理

三、矩陣奇異值的極小極大性質

我們通過矩陣瑞利商的極小極大原理，可以衍生到解決奇異值問題，我們將矩陣$A\in \mathbb{R}_r^{m\times n}$的奇異值排列如下 [其中，$\sigma _i = \sqrt{\lambda_i (A^TA)}$]
$0=\sigma _1 =\sigma _2 =... =\sigma _{n-r} \le \sigma _{n-r+1} \le ... \le \sigma _{n}$

我們令$B=A^TA$，則實對稱矩陣$B$的瑞利商如下
$R(x) =\frac{x^TBx}{x^Tx} =\frac{x^T(A^TA)x}{x^Tx}=\frac{(Ax)^TAx}{x^Tx}=\frac{\|Ax\|_2^2}{\|x\|_2^2}=\lambda=\sqrt{\sigma}$
則矩陣$A$的第$k$個奇異值和第$n-k+1$個奇異值具有如下極小極大性質
$\sigma _{n-(k-1)} = \max_{V_{k}} \left[ \min_{0\not =x\in V_{k}}\frac{\|Ax\|_2}{\|x\|_2} \right] ,\; \; \sigma _{k} = \min_{V_{k}} \left[ \max_{0\not =x\in V_{k}}\frac{\|Ax\|_2}{\|x\|_2} \right]$
其中，$V_k$是$\mathbb{R}^n$中的任意一個$k$維子空間。

附錄：矩陣直積($\text{Kronecker}$積)的概念

運用矩陣的直積運算，能夠將線性矩陣方程轉換爲線性代數方程組進行求解

【定義】設$A=(a_{ij})\in \mathbb{C}^{m\times n},B=(b_{ij})\in \mathbb{C}^{p\times q}$，則稱如下分塊矩陣爲$A$與$B$的直積($\text{Kronecker}$積)

參考文獻

程雲鵬, 凱院, 仲. 矩陣論[M]. 西北工業大學出版社, 2006.