1. SVD
任意矩陣A (mxn), 都能被奇異值分解爲:
其中, U是mxm的正交矩陣, V是nxn的正交矩陣, Σr是由r個沿對角線從大到小排列的奇異值組成的方陣. r就是矩陣A的秩.
2. Moore-Pseudo逆
任意矩陣A, 若存在矩陣X, 使得:
則稱X是A的Moore-Pseudo逆, 簡稱廣義逆, 記爲A+.
矩陣A的廣義逆是唯一的, 並且可以利用A的SVD分解進行計算. 令A的SVD分解爲:
不難驗證
3. 線性最小二乘問題
考慮線性方程組Ax=b, 求其最小二乘解.
如果A的秩是n, 則其唯一解是A+b; 如果秩小於n, 則有無窮多解, 其中的最小范數解仍然是A+b. 我們通常關心的也就是這個解.
摘自：http://oliver.zheng.blog.163.com/blog/static/14241159520136156748151/