【矩阵论】对称矩阵特征值的性质与直积

前言

在许多实际问题中，所产生的矩阵往往都是对称矩阵，比如我们耳熟能详的实对称矩阵也是重要的研究对象。以下就从实对称矩阵的角度出发，利用特征值的极小极大原理，从普通特征值问题$Ax=\lambda x$衍生到广义特征值问题$Ax=\lambda Bx$逐步讨论其特征值的性质。

【广义特征值问题】设$A=(a_{ij})\in \mathbb{R}^{n\times n}$是$n$阶实对称矩阵，$B=(b_{ij})\in \mathbb{R}^{n\times n}$是$n$阶实对称正定矩阵，使下式 $\mathbf{Ax=\lambda Bx}$ 有非零解向量$x\in \mathbb{R}^{n}$，则称$\lambda$是矩阵$A$相对于矩阵$B$的特征值，且$x$是属于$\lambda$的特征向量。该问题常见于振动理论。

我们可以发现

• 当$B\not=I$时，该问题是广义特征值问题
• 当$B=I$时，该问题是普通特征值问题

思路：如何利用极小极大原理求第$k$个特征值及奇异值？

利用极大极小原理，我们先确定$n$阶实对称阵的最大最小特征值，然后逐步求第2大和第2小特征值进而归纳到求第$k$大和第$k$小特征值。

本文就对称矩阵特征值的极性与直积做以梳理，完整定理证明请参考西工大的《矩阵论》[1]。

一、实对称矩阵的瑞利商与广义瑞利商性质

我们在讨论实对称矩阵的特征值时，往往会通过实对称阵的瑞利商来研究，因为瑞利商是由如下特征值问题推导出来的，它可以直接求出矩阵的特征值。
$Ax=\lambda x \Rightarrow x^TAx=\lambda x^Tx \Rightarrow \lambda=\frac{x^TAx}{x^Tx}=R(x)$

【瑞利商定义】设$A=(a_{ij})\in \mathbb{R}^{n\times n}$是$n$阶实对称矩阵，$x\in \mathbb{R}^{n}$，则称下式为矩阵$A$的瑞利商($\text{Rayleigh}$商) $\mathbf{R(x) = \frac{x^TAx}{x^Tx}} \quad (x\not=\mathbf{0})$

【广义瑞利商定义】设$A=(a_{ij})\in \mathbb{R}^{n\times n},B=(b_{ij})\in \mathbb{R}^{n\times n}$均是$n$阶实对称矩阵，且$B$正定，$x\in \mathbb{R}^{n}$，则称下式为矩阵$A$相对于矩阵$B$的广义瑞利商$\mathbf{R(x) = \frac{x^TAx}{x^TBx}} \quad (x\not=\mathbf{0})$

• 【性质1】：$R(x)$是$x$的连续函数
• 【性质2】：$R(x)$是$x$的零次齐次函数（齐次性$R(kx)=R(x)$）
  事实上，对于任意实数$\lambda \not=0$有下式分别满足齐次性和零次
  $R(\lambda x)=R(x)=\lambda^0 R(x)$
• 【性质3】：当$x$是由$x_0\not=0$张成的空间时，$R(x)$是一常数
• 【性质4】：$R(x)$的最大最小值存在，且能够在单位球面$S=\{x|x\in \mathbb{R}^n,\|x\|_2=1\}$上达到
• 【性质5】：非零向量$x_0$是$R(x)$的驻点$\Leftrightarrow x_0$是$Ax=\lambda Bx$的特征向量，当$B=I$时对应于瑞利商问题同理，通过矩阵求导可得

一般情况下，我们令实对称矩阵$A$的特征值按从小到大顺序排列如下
$\lambda_1 \le \lambda_2 \le... \le \lambda_n$
对应标准正交特征向量系为$p_1,p_2,...,p_n$。

【定理】设$A=(a_{ij})\in \mathbb{R}^{n\times n}$是$n$阶实对称矩阵，则有 $\mathbf{\min_{x\not=\mathbf{0}} R(x) = \lambda_1,\quad \max_{x\not=\mathbf{0}} R(x) = \lambda_n ,\quad \lambda_1 \le R(x) \le \lambda_n}$

【证明】任取$\mathbf{0}\not=x \in \mathbb{R}^n$，则有
$x=c_1p_1+c_2p_2+...+c_np_n \quad (c_1^2+c_2^2+...+c_n^2\not=0)$
由于$p_1,p_2,...,p_n$是正交特征向量系，所以有$x_i=c_ip_i$
于是有
$\begin{aligned} Ax&=\lambda x=\lambda_1c_1p_1+\lambda_2c_2p_2+...+\lambda_nc_np_n\\ x^TAx & =c_1^2\lambda_1+c_2^2\lambda_2+...+c_n^2\lambda_n \\ x^Tx & =c_1^2+c_2^2+...+c_n^2 \\ \end{aligned}$
令$k_i=\frac{c_i^2}{c_1^2+c_2^2+...+c_n^2}$，其中$k_1+k_2+...+k_n=1$，则有
$R(x) =\frac{x^TAx}{x^Tx}=k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n$
简单起见，假设$A$是$2$阶实对称阵，即仅有两个特征值$\lambda_1,\lambda_2$满足$R(x)=k_1\lambda_1+k_2 \lambda_2\;(k_1+k_2=1)$，则如下图所示

从上图，我们可以清晰的看出$R(x)$是$x$的连续函数，该集合也被称为凸包，由此可得
$\lambda_1 \le R(x) \le \lambda_n$
可以通过如下式子验证$R(p_1)=\lambda_1$
$R(p_i) =\frac{p_i^TAp_i}{p_i^Tp_i}=\lambda_i$
有了$p_k$或$x_k$，我们可以直接求得第$k$小特征值$\lambda_k$。但问题来了，如果我们不知道$p_k$或者不想依赖于$x_k$，我们如何求得第$k$小特征值$\lambda_k$呢？这就需要下面一章的极小极大原理了。

【重要推论】若$\lambda_1=...=\lambda_k(1\le k \le n)$，则在$\|x\|_2=1$上，$R(x)$的所有极小点为 $\mathbf{l_1p_1+l_2p_2+...+l_kp_k}$ 其中，$l_i\in R(i=1,...,k)$，且满足$l_1^2+l_1^2+..+l_k^2=1$.

二、普通与广义特征值的极小极大原理

由上章，我们得到几个工具，令$V_n=\text{span}\{x_1,x_2,...,x_n\}\;(\lambda_1 \le \lambda_2 \le... \le \lambda_n )$则有
$R(x) =\frac{x^TAx}{x^Tx}=k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n$
$\lambda_1 \le R(x) \le \lambda_n \Rightarrow \begin{cases} \min_{x\not=\mathbf{0},x\in V_n} R(x) = \lambda_1 \\ \max_{x\not=\mathbf{0},x\in V_n} R(x) = \lambda_n \\ \end{cases}$
当我们想求$\lambda_2,\lambda_{n-1}$时，可以通过缩小张成的子空间得到
$\begin{aligned} \lambda_{2}= \min_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_{1}=0 \\ \end{aligned} \\ \vdots \\ \begin{aligned} \lambda_{i}= \min_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_1=k_2=...=k_{i-1}=0 \\ \end{aligned} \\$
同理得
$\begin{aligned} \lambda_{n-1}= \max_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_{n}=0 \\ \end{aligned} \\ \vdots \\ \begin{aligned} \lambda_{n-i-1}= \min_{x\not=0} & \; R(x) =k_1\lambda_1+k_2\lambda_2+...+k_n\lambda_n\\ s.t. & \;\; k_n=k_{n-1}=...=k_{n-i}=0 \\ \end{aligned} \\$
因此，我们可以归纳出如下定理

【定理】设$x\in L(p_r,p_{r+1},...,p_s),1 \le r \le s \le n$，则有 $\mathbf{\min_{x\not=0} \; R(x) =\lambda_r \quad \max_{x\not=0} \; R(x) =\lambda_s}$

2.1 引出问题：由于$V_k$不唯一导致得到多个特征值

但以上定理在$p_r,p_{s}$未知下无法使用，因此我们不再指定让某个系数$k_i=0$，而是选取$k$维子空间$V_k$来求，由于$V_k$是不唯一的，因此可能会得到多个特征值，例如我们想要得到$\lambda_2$，则选取$V_{n-1}$，有如下两种情况

$\min_{x\not=0}\; R(x)= \begin{cases} \lambda_{1} \quad \;\;\; \text{if} \;\; x_1 \in V_{n-1} \\ \lambda_{2} \quad \;\;\; \text{if} \;\; x_1 \notin V_{n-1} \\ \end{cases}$
$\max_{x\not=0}\; R(x)= \begin{cases} \lambda_{n} \quad \;\;\; \text{if} \;\; x_n \in V_{n-1} \\ \lambda_{n-1} \quad \text{if} \;\; x_n \notin V_{n-1} \\ \end{cases}$

2.2 解决问题：使用极大极小原理固定特征向量

对于上述子空间$V_k$不唯一情况，得到
$\min_{0\not =x\in V_{n-1}} R(x)\le \lambda_{2} \quad \max_{0\not =x\in V_{n-1}}\ R(x)\ge \lambda_{n-1}$
为解决此问题，我们使用极小极大原理得到
$\lambda_{2} = \max_{V_{n-1}} \left[ \min_{0\not =x\in V_{n-1}} R(x) \right] ,\; \; \lambda_{n-1} = \min_{V_{n-1}} \left[ \max_{0\not =x\in V_{n-1}} R(x) \right]$
为此，我们归纳出一般的式子，我们

【定理】设$V_k$是$\mathbb{R}^n$中的任意一个$k$维子空间，则普通特征值问题与广义特征值问题从小到大的第$k$个特征值和$n-(k-1)$个特征值具有如下极小极大性质
$\mathbf{\lambda_{n-(k-1)} = \max_{V_{k}} \left[ \min_{0\not =x\in V_{k}} R(x) \right] ,\; \; \lambda_{k} = \min_{V_{k}} \left[ \max_{0\not =x\in V_{k}} R(x) \right] }$

• 左式被称为特征值的极大极小原理
• 右式被称为特征值的极小极大原理

三、矩阵奇异值的极小极大性质

我们通过矩阵瑞利商的极小极大原理，可以衍生到解决奇异值问题，我们将矩阵$A\in \mathbb{R}_r^{m\times n}$的奇异值排列如下 [其中，$\sigma _i = \sqrt{\lambda_i (A^TA)}$]
$0=\sigma _1 =\sigma _2 =... =\sigma _{n-r} \le \sigma _{n-r+1} \le ... \le \sigma _{n}$

我们令$B=A^TA$，则实对称矩阵$B$的瑞利商如下
$R(x) =\frac{x^TBx}{x^Tx} =\frac{x^T(A^TA)x}{x^Tx}=\frac{(Ax)^TAx}{x^Tx}=\frac{\|Ax\|_2^2}{\|x\|_2^2}=\lambda=\sqrt{\sigma}$
则矩阵$A$的第$k$个奇异值和第$n-k+1$个奇异值具有如下极小极大性质
$\sigma _{n-(k-1)} = \max_{V_{k}} \left[ \min_{0\not =x\in V_{k}}\frac{\|Ax\|_2}{\|x\|_2} \right] ,\; \; \sigma _{k} = \min_{V_{k}} \left[ \max_{0\not =x\in V_{k}}\frac{\|Ax\|_2}{\|x\|_2} \right]$
其中，$V_k$是$\mathbb{R}^n$中的任意一个$k$维子空间。

附录：矩阵直积($\text{Kronecker}$积)的概念

运用矩阵的直积运算，能够将线性矩阵方程转换为线性代数方程组进行求解

【定义】设$A=(a_{ij})\in \mathbb{C}^{m\times n},B=(b_{ij})\in \mathbb{C}^{p\times q}$，则称如下分块矩阵为$A$与$B$的直积($\text{Kronecker}$积)

参考文献

程云鹏, 凯院, 仲. 矩阵论[M]. 西北工业大学出版社, 2006.