SVD(Singular Value Decomposition, 奇異值分解)數學證明

奇異值分解（SVD）在機器學習、圖像壓縮中應用很多，使用它能夠節省很多存儲空間。這裏主要從數學原理上闡述SVD的證明。

奇異值分解定義

對任意矩陣$A \in R^{m\times n}$，存在正交矩陣$U \in R^{m \times m}, V\in R^{n \times n}$及除了主對角線上的元素以外全爲0的矩陣$\Sigma \in R^{m \times n}$，使得$A = U\Sigma V^{T}$，其中$\Sigma$的主對角元上的元素滿足$\sigma_{11} \ge \sigma_{22} \ge...\ge \sigma_{kk}, k= min(m,n).$
其中稱$\sigma_i = \sqrt{\lambda_i}, i=1,2,...,r$爲$A$的奇異值，$r$爲$A$的秩且$\lambda_1,\lambda_2,...,\lambda_r$爲$A^{T}A$的非零特徵值。

數學證明

因爲$A^{T}A$爲實對稱矩陣，所以存在正交矩陣$V$使得$V^{T}A^{T}AV=diag(\lambda_1,...,\lambda_n),$其中$\lambda_1,...,\lambda_n$爲$A^{T}A$的特徵值。
因爲$A^{T}Av_i=\lambda_iv_i,$$v_i^{T}A^{T}Av_i=\lambda_iv_i^{T}v_i=\lambda_i,$所以$\lambda_i=(Av_i)^{T}Av_i\ge0$則不妨設$\lambda_1\ge...\ge\lambda_n\ge0.$

設$V=(v_1,...,v_n)，$且$v_i(i=1,...,n)$爲$A^{T}A$的屬於$\lambda_i$的特徵向量以及$R^{n}$的一組標準正交基，設$r=rank(A)$，有$(Av_i,Av_j)=v_i^{T}A^{T}Av_j=v_i^{T}\lambda_jv_j=\begin{cases} \lambda_i\neq0, & \text{if $i=j$} \\ 0, & \text{if $i\neq j$ } \end{cases}(i,j=1,...,r)$
其中，$\sqrt{\lambda_i}=|Av_i|,(i=1,...,r)$，且$Av_1,...,Av_r$也爲正交基，
令$u_i=\frac{Av_i}{|Av_i|},i=1,...,r$再將$u_1,...,u_r$擴充成$R^{m}$的一組標準正交基$u_1,...,u_r,...,u_m.$令$U=(u_1,...,u_m)$, 有$AV=A(v_1,...,v_n)=(Av_1,...,Av_r,0,...,0)=(\sqrt{\lambda_1}u_1,...,\sqrt{\lambda_r}u_r,0,...,0)\\=(u_1,...,u_m)diag(\sqrt{\lambda_1},...,\sqrt{\lambda_r},0,...,0)$所以$A=U\Sigma V^{T}$且$\sqrt{\lambda_1}\ge...\ge\sqrt{\lambda_r}.$