奇异值分解推导及相关知识补充

相关数学知识补充

矩阵的秩

定义
矩阵A中不为零的子式的最高阶数，称为矩阵A的秩，记作r(A)。零矩阵的秩为0。
性质

1. 秩是一个正整数或0。
2. 秩等于或小于矩阵的行数和列数。秩等于或小于矩阵的行数和列数。
3. 当n×n矩阵A的秩等于n时，则称A是非奇异矩阵，或称A满秩。
4. 若r(A_m×n)<min{m,n}，则称A是秩亏缺的。
5. 若r(A_m×n)=m（<n）,则称矩阵A具有满行秩。
6. 若r(A_m×n)=n（<m）,则称矩阵A具有满列秩。
7. 任何矩阵A左乘满列秩矩阵或者右乘满行秩矩阵后，矩阵A的秩保持不变。

意义
「秩」是矩阵中所有行向量中极大线性代无关组的元素个数。
「秩」是图像经过矩阵变换之后的空间维度。

正交矩阵（orthogonal matrix）

定义
如果AA^T = E或A^TA = E，则n阶实矩阵A称为正交矩阵。
性质
若A是正交矩阵，则满足：

1. A^T，A^-1与A^*也是正交矩阵（其中 A^* 是 A的共轭转置。）；
2. A的各行各列是单位向量且两两正交；
3. (Ax,Ay)=(x,y) 其中x,y∈R；
4. A^T = A^-1；
5. 正交矩阵相似于对角矩阵。

SVD推导的相关引理

引理1

内容：假设A $\epsilon$ R$^{m\times n}$, 则$A^T A与A A^T$的特征值 （eigenvalue）非负。
证明：
假设$\lambda$ 为A^T A的特征值，x是它对应的特征向量，即
$A^T Ax=\lambda x$
由于$A^T A$是 对称的，故 $\lambda$ 是一个实数，因此我们有：
$0\leqq(Ax, Ax)=(Ax)^T(Ax)=x^TA^TAx=x^T\lambda x=\lambda x^Tx$
因为x^Tx > 0，因此我们可以得到$\lambda \geqq 0$ 。
同理，我们可以知道$A A^T$的特征值也是非负的。
 

引理2

内容：假设A $\epsilon$ R$^{m\times n}$, 则我们有r(A) = r(A^TA) = r(AA^T)。
证明：
要证明r(A) = r(A^TA) = r(AA^T)，相当于证明Ax=0和A^TAx=0有相同的解。
 
Ax=0 $\Rightarrow$ A^TAx=0
A^TAx=0 $\Rightarrow$ x^TA^TAx=0 $\Rightarrow$ (Ax)^TAx=0 $\Rightarrow$ Ax=0
 
由此，可以得到Ax=0 $\Leftrightarrow$ A^TAx=0
Ax=0和A^TAx=0有相同的解，故A与A^TA核相等，所以秩相等可证。
 

引理3

内容：假设A $\epsilon$ R$^{m\times n}$, A^TA与AA^T有相同的特征值。
证明：
假设$\lambda$ 为A^T A的特征值，x是它对应的特征向量，即
$A^T Ax=\lambda x$
则
$A^T Ax=\lambda x \Rightarrow AA^T Ax=\lambda Ax \Rightarrow AA^T y=\lambda y$
故可证得A^TA与AA^T有相同的$\lambda$。

引理4

内容：如果两个矩阵是彼此正交等价，那么它们的奇异值相同。
证明：
假设A ,B $\epsilon$ R$^{m\times n}$， 彼此正交等价，则存在正交矩阵U $\epsilon$ R$^{m\times m}$, V$\epsilon$ R$^{n\times n}$, s.t. A=UBV.
若A,B彼此正交相似，则存在正交矩阵P，使得 P^-1BP=A
 
A^TA = (UBV)^TUBV = V^TB^TU^TUBV = V^TB^TBV = V^-1B^TBV
 
故可得到 A^TA 与B^TB彼此正交相似，因此它们有相同的$\lambda$；
奇异值$\sigma$ = $\sqrt \lambda$, 故两者的奇异值相同。
 

SVD推导

A = U$\Sigma$V^T
证明：
$\because$ A^TA为对称矩阵（证：(A^TA)^T=A^T(A^T)^T=A^TA)
（对称矩阵性质：若A为对称矩阵，必存在正交矩阵，将其化为对角矩阵，且对角矩阵的对角元素即为特征值）
$\therefore$ A^TA = X$\lambda$X^-1
$其中\lambda= \begin{pmatrix} \lambda_1 &amp; \\ &amp; \lambda_2&amp; \\ &amp; &amp; \ddots &amp; \\ &amp; &amp; &amp; \lambda_n \\ \end{pmatrix}$
X^-1A^TAX = $\lambda$
 
用V来替换X， 得到 V^-1A^TAV = $\lambda$
 
$\because$矩阵V正交 $\therefore$V^-1=V^T
故 V^TA^TAX = $\lambda$ = $\begin{pmatrix} \Delta^2&amp;0 \\0&amp;0\\ \end{pmatrix}$
 
将V拆成V₁和V₂，其中V₁ $\epsilon$ R$^{n\times r}$，V₂ $\epsilon$ R$^{n\times n-r}$
 
则$\begin{pmatrix} V_1 \\V_2 \\ \end{pmatrix}$(A^TA)(V_1,V_2) = $\begin{pmatrix} V_1^TA^TA\\V_2^TA^TA \\ \end{pmatrix}$(V_1,V_2) = $\begin{pmatrix} V_1^TA^TAV_1&amp;V_1^TA^TAV_2\\V_2^TA^TA V_1&amp;V_2^TA^TA V_2\\ \end{pmatrix}$= $\begin{pmatrix} \Delta^2&amp;0 \\0&amp;0\\ \end{pmatrix}$
 
$\therefore$ $V_2^TA^TA V_1=0$ $\Rightarrow$ (AV₂)^TAV₂=0 $\Rightarrow$AV₂=0
 
$\Delta^2 = V_1^TA^TAV_1 = (AV_1)^TAV_1$
 
设U₁ $\epsilon$ R$^{n\times r}$ ， U₁ = AV₁$\Delta$^-1
 
$U_1 ^TU_1=(\Delta^{-1})^TV_1^TA^T AV_1 \Delta^{-1} = \Delta^{-1}\Delta^2\Delta^{-1} = E^r$
这说明$U_1$各列为两两正交的单位向量（自身与自身内积为1）
 
同理，U也可以写成U = (U₁,U₂)
 
U^TAV = $\begin{pmatrix} U_1^T\\U_2^T \\ \end{pmatrix}A(V_1,V_2)$ = $\begin{pmatrix} U_1^TAV_1&amp;U_1^TAV_2\\U_2^TAV_1&amp;U_2^TAV_2 \\ \end{pmatrix}$ = $\begin{pmatrix} U_1^TU\Delta&amp;U_1^T(AV_2)\\U_2^TU\Delta&amp;U_2^T(AV_2) \\ \end{pmatrix}$ = $\begin{pmatrix} \Delta&amp;0 \\0&amp;0\\ \end{pmatrix}$
 
因此，可以得到：
$A = UU^TAVV^T = U\begin{pmatrix} \Delta&amp;0 \\0&amp;0\\ \end{pmatrix}V^T$
故SVD得证。
 

参考资料

实对称矩阵的特征值和特征向量