奇異值分解

奇異值分解（Singular Value Decomposition，SVD）。

A是一個mxn矩陣，U是mxm矩陣，D是mxn矩陣，V是nxn矩陣。

U和V都是正交矩陣，D是對角矩陣，但不一定是方陣。

對角矩陣D對角線上的元素稱爲矩陣A的奇異值（singular value），A的非零奇異值是特徵值的平方根，也是特徵值的平方根；
矩陣U的列向量稱爲左奇異向量（left singular vector），是的特徵向量；
矩陣V的列向量稱爲右奇異向量（right singular vector），是的特徵向量。

SVD最有用的性質可能是拓展矩陣求逆到非方矩陣上。

在求解Moore-Penrose僞逆的時候，會用到奇異值分解。

推導：

大概思路就是：

通過的特徵向量對應的單位正交基[v1,...,vn]=V，其中vi對應的特徵值爲λi，得到了另一個正交基，即[Av1,...,Avn]=AV。
AV中單個向量Avi的長度是vi對應的特徵是√λi，也就是A的奇異值σi。當A有r個非0的奇異值時，ColA對應的正交基就是[Av1,...,Avr]。
將ColA對應的正交基單位化得：[u1,...,ur]。其中ui=Avi/||Avi||=Avi/σi，所以有σiui=Avi。
將[u1,...,ur]擴充到m維[u1,...,um]=U。且由上一行中的σiui=Avi可知UD=AV，所以：，又因爲V是單位正交基，所以。

下面是《線性代數及其應用》(第3版)，David C.Lay，機械工業出版社，奇異值分解那一章的內容。

其他參考資料：

https://blog.csdn.net/zhongkejingwang/article/details/43053513（推導）
https://blog.csdn.net/he19930303/article/details/51147858（幾何意義和應用）
https://www.jianshu.com/p/56b2967d20ba（應用）