SVD奇異值分解

前言

之前的博客：特徵值和特徵向量，討論了矩陣的特徵分解相關的概念。公式如下所示：

A=WΣWT(1)$$\begin{array}{}\text{(1)}& A=W\mathrm{\Sigma }{W}^T\end{array}$$

但是特徵分解有一個限制條件，即A$A$ 必須是方陣，如果不是方陣則上式就不能使用了。爲了在A$A$ 矩陣不是方陣時，即行列數不等時，也能分解矩陣的特徵，就要用到SVD了。

定義

SVD的作用也是對矩陣進行分解，但是與特徵分解不同，SVD 不要求待分解的矩陣必須是方陣。

假設給定了某一個矩陣A$A$ ，其維度是m×n$m\times n$ 。那麼，定義SVD爲如下式：

A=UΣVT(2)$$\begin{array}{}\text{(2)}& A=U\mathrm{\Sigma }{V}^T\end{array}$$

其中，U$U$ 是一個m×m$m\times m$ 的矩陣，Σ$\mathrm{\Sigma }$ 是一個m×n$m\times n$ 的矩陣，V$V$ 是一個n×n$n\times n$ 的矩陣。Σ$\mathrm{\Sigma }$ 中，除了對角線上的元素之外，其餘元素的值都爲0，主對角線上的每個元素都被稱爲奇異值。另外，U$U$ 和V$V$ 都是經過標準化之後的，即滿足：UTU=I$U^{T}U=I$ 、VTV=I$V^{T}V=I$ 。

求解SVD過程

求解SVD的過程可以分解爲，分別求解U,Σ,V$U,\mathrm{\Sigma },V$ 的過程。

將A$A$ 的轉置與A$A$ 作矩陣乘法，那麼會得到n×n$n\times n$ 的方陣ATA$A^{T}A$ 。這樣就可以對ATA$A^{T}A$ 作特徵分解了，求得的特徵值與特徵向量滿足下式：

(ATA)vj=λjvj(3)$$\begin{array}{}\text{(3)}& (A^{T}A)v_j={\lambda }_j{v}_j\end{array}$$

得到了ATA$A^{T}A$ 的n$n$ 個特徵值λj${\lambda }_j$ 以及對應的n$n$ 個特徵向量vj$v_j$ 。將這n$n$ 個特徵向量vj$v_j$ 組合成一個n×n$n\times n$ 的矩陣V$V$ ，就得到了SVD公式裏面的矩陣V$V$ 了。通常，稱V$V$ 中的特徵向量vj$v_j$ 爲右奇異向量。

將A$A$ 與A$A$ 的轉置作矩陣乘法，則會得到m×m$m\times m$ 的方陣AAT$A{A}^T$ 。接着可以對AAT$A{A}^T$ 作特徵分解，求出特徵值與特徵向量滿足下式：

(AAT)ui=λui(4)$$\begin{array}{}\text{(4)}& (A{A}^T)u_i=\lambda u_i\end{array}$$

得到了AAT$A{A}^T$ 的n$n$ 個特徵值λi${\lambda }_i$ 以及對應的n$n$ 個特徵向量ui$u_i$ 。將這n$n$ 個特徵向量ui$u_i$ 組合成一個m×m$m\times m$ 的矩陣U$U$ ，就得到了SVD公式裏面的矩陣U$U$ 了。通常，稱U$U$ 中的特徵向量ui$u_i$ 爲左奇異向量。

已經求到了U$U$ 和V$V$ 了，還剩下Σ$\mathrm{\Sigma }$ 。注意到，Σ$\mathrm{\Sigma }$ 除了對角線上是奇異值之外，其餘位置都是0，那麼只需要求出每個奇異值σi${\sigma }_i$ 就k了。

注意到：

A=UΣVT⇒AV=UΣVTV⇒AV=UΣ⇒Avk=σkuk⇒σk=Avkuk(5)$$\begin{array}{}\text{(5)}& A=U\mathrm{\Sigma }{V}^T\Rightarrow AV=U\mathrm{\Sigma }{V}^{T}V\Rightarrow AV=U\mathrm{\Sigma }\Rightarrow A{v}_k={\sigma }_k{u}_k\Rightarrow {\sigma }_k=\frac{A{v}_k}{u_k}\end{array}$$

套用上式，即可求出每個奇異值σk${\sigma }_k$ ，得到奇異值矩陣Σ$\mathrm{\Sigma }$ 。

再簡要證明一下，方陣A A^T的特徵向量組成的矩陣就是SVD中的U$U$ 矩陣，而方陣A A^T的特徵向量組成的矩陣就是SVD中的V$V$ 矩陣。

{A=UΣVTAT=VΣTUT⇒{ATA=VΣTUTUΣVT=VΣTΣVTAAT=UΣVTVΣTUT=UΣΣTUT(6)$$\begin{array}{}\text{(6)}& \{\begin{array}{l}A=U\mathrm{\Sigma }{V}^T\\ A^T=V{\mathrm{\Sigma }}^T{U}^T\end{array}\Rightarrow \{\begin{array}{l}{A}^{T}A=V{\mathrm{\Sigma }}^T{U}^{T}U\mathrm{\Sigma }{V}^T=V{\mathrm{\Sigma }}^T\mathrm{\Sigma }{V}^T\\ A{A}^T=U\mathrm{\Sigma }{V}^{T}V{\mathrm{\Sigma }}^T{U}^T=U\mathrm{\Sigma }{\mathrm{\Sigma }}^T{U}^T\end{array}\end{array}$$

推導時用到了UTU=I$U^{T}U=I$ 、VTV=I$V^{T}V=I$ 。注意到ΣTΣ${\mathrm{\Sigma }}^T\mathrm{\Sigma }$ 的維數爲n×n$n\times n$ ，ΣΣT$\mathrm{\Sigma }{\mathrm{\Sigma }}^T$ 的維數爲m×m$m\times m$ ，由於奇異值矩陣Σ$\mathrm{\Sigma }$ 只有對角線上有元素，其餘位置都是0，所以很容易證明ΣTΣ${\mathrm{\Sigma }}^T\mathrm{\Sigma }$ 和ΣΣT$\mathrm{\Sigma }{\mathrm{\Sigma }}^T$ 也是奇異值矩陣。不難看出AAT$A{A}^T$ 和ATA$A^{T}A$ 的特徵向量組成的矩陣分別是SVD中U$U$ 和V$V$ 矩陣了吧！

不難看出ΣTΣ${\mathrm{\Sigma }}^T\mathrm{\Sigma }$ 和ΣΣT$\mathrm{\Sigma }{\mathrm{\Sigma }}^T$ 的特徵值矩陣等於奇異值矩陣Σ$\mathrm{\Sigma }$ 的平方。即有下式關係：

σk=λk−−√(7)$$\begin{array}{}\text{(7)}& {\sigma }_k=\sqrt{{\lambda }_k}\end{array}$$

我們可以通過求解σij=Avjui${\sigma }_{ij}=\frac{A{v}_j}{u_i}$ 來計算奇異值，也可以通過求出AAT$A{A}^T$ 或的ATA$A^{T}A$ 特徵值開平方根得到奇異值。

計算舉例

對矩陣A$A$ 作奇異值分解：

A=⎡⎣⎢110011⎤⎦⎥$$A=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 0& 1\end{array}\right]$$

求出AT$A^T$ ：

AT=[101101]$$A^T=\left[\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\end{array}\right]$$

接着可以求出AAT$A{A}^T$ 和ATA$A^{T}A$ ：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪AAT=⎡⎣⎢110121011⎤⎦⎥ATA=[2112]$$\{\begin{array}{l}A{A}^T=\left[\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right]\\ A^{T}A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\end{array}$$

先求出AAT$A{A}^T$ 的特徵值和特徵向量：（注，將λ$\lambda$ 按照從大到小的順序標號）

手算是套用公式Det(AAT−λI)=0$Det(A{A}^T-\lambda I)=0$ 求出特徵值與特徵矩陣，這裏直接用matlab的eig函數求出結果了。

λ1=3${\lambda }_1=3$ ；u1=⎡⎣⎢0.40820.81650.4082⎤⎦⎥$u_1=\left[\begin{array}{c}0.4082\\ 0.8165\\ 0.4082\end{array}\right]$ ；λ2=1${\lambda }_2=1$ ；u2=⎡⎣⎢−0.707100.7071⎤⎦⎥$u_2=\left[\begin{array}{c}-0.7071\\ 0\\ 0.7071\end{array}\right]$ ；λ3=0${\lambda }_3=0$ ；u3=⎡⎣⎢0.5774−0.57740.5774⎤⎦⎥$u_3=\left[\begin{array}{c}0.5774\\ -0.5774\\ 0.5774\end{array}\right]$ ；

再求出ATA$A^{T}A$ 的特徵值和特徵向量：（求解方法同上，省略）

λ1=3${\lambda }_1=3$ ；v1=[0.70710.7071]$v_1=\left[\begin{array}{c}0.7071\\ 0.7071\end{array}\right]$ ；λ2=1${\lambda }_2=1$ ；v2=[−0.70710.7071]$v_2=\left[\begin{array}{c}-0.7071\\ 0.7071\end{array}\right]$ ；

套用公式σk=Avkuk,k=1,2${\sigma }_k=\frac{A{v}_k}{u_k},k=1,2$ 求解奇異值：

σ1⎡⎣⎢0.40820.81650.4082⎤⎦⎥=⎡⎣⎢110011⎤⎦⎥[0.70710.7071]⇒σ1=1.732$${\sigma }_1\left[\begin{array}{c}0.4082\\ 0.8165\\ 0.4082\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 0& 1\end{array}\right]\left[\begin{array}{c}0.7071\\ 0.7071\end{array}\right]\Rightarrow {\sigma }_1=1.732$$

σ2=⎡⎣⎢−0.707100.7071⎤⎦⎥=⎡⎣⎢110011⎤⎦⎥[−0.70710.7071]⇒σ2=1$${\sigma }_2=\left[\begin{array}{c}-0.7071\\ 0\\ 0.7071\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 1& 1\\ 0& 1\end{array}\right]\left[\begin{array}{c}-0.7071\\ 0.7071\end{array}\right]\Rightarrow {\sigma }_2=1$$

當然也可以直接使用σk=λk−−√${\sigma }_k=\sqrt{{\lambda }_k}$ 求出奇異值，AAT$A{A}^T$ 和ATA$A^{T}A$ 的特徵值都爲3$3$ 和1$1$ （0$0$ 沒有意義，所以不討論），所以奇異值分別爲3–√$\sqrt{3}$ 和1$1$ ，這樣計算更簡單。

最終得到的奇異值分解爲：

A=UΣVT=⎡⎣⎢0.40820.81650.4082−0.707100.70710.5774−0.57740.5774⎤⎦⎥⎡⎣⎢1.73200010⎤⎦⎥[0.70710.7071−0.70710.7071]$$A=U\mathrm{\Sigma }{V}^T=\left[\begin{array}{ccc}0.4082& -0.7071& 0.5774\\ 0.8165& 0& -0.5774\\ 0.4082& 0.7071& 0.5774\end{array}\right]\left[\begin{array}{cc}1.732& 0\\ 0& 1\\ 0& 0\end{array}\right]\left[\begin{array}{cc}0.7071& -0.7071\\ 0.7071& 0.7071\end{array}\right]$$

SVD的性質

對於奇異值，它與特徵分解中的特徵值類似。在奇異值矩陣Σ$\mathrm{\Sigma }$ 中，奇異值是按照從大到小排列，而奇異值減小的也十分快，通常前面的10%的奇異值就佔掉了所有奇異值之和的90%以上。因此，我們可以使用最大的k$k$ 個奇異值和對應的左右奇異向量來近似表示矩陣，如下式所示：

A(m×n)=U(m×m)Σ(m×n)VT(n×n)≃U(m×k)Σ(k×k)VT(k×n)(8)$$\begin{array}{}\text{(8)}& A_{(m\times n)}=U_{(m\times m)}{\mathrm{\Sigma }}_{(m\times n)}{V}_{(n\times n)}^T\simeq U_{(m\times k)}{\mathrm{\Sigma }}_{(k\times k)}{V}_{(k\times n)}^T\end{array}$$

上式中的下標表示那個矩陣的維數。

如果k$k$ 是一個較小的數，而n$n$ 是一個較大的數，SVD的作用就體現出來了，因爲一個較大的矩陣A$A$ 可以用三個較小的矩陣U(m×k),Σ(k×k),VT(k×n)$U_{(m\times k)},{\mathrm{\Sigma }}_{(k\times k)},V_{(k\times n)}^T$ 來表示。

由於這個特殊的性質，SVD可以用於PCA降維等，來壓縮數據和去噪。

參考資料：

1、https://www.cnblogs.com/pinard/p/6251584.html