1.矩陣基本知識
（1）正交矩陣相乘仍然是正交矩陣
A、B是正交矩陣,那麼AA'=E BB'=E
(AB)*(AB)'=AB*B'A'=A(BB')A'=AEA'=AA'=E
（2）一個矩陣乘以正交矩陣，範數不變
||Ux||^2=(Ux)^T(Ux)=x^TU^TUx=x^Tx=||x||^2
（3）一個矩陣乘以可逆矩陣秩不變
（4）初等變換隻是不影響矩陣的秩，其他的特性都改變了。對於計算矩陣的行列式，不能進行初等變換，但是可以做行列的進 加減，不能乘以係數。
（5）矩陣的跡：矩陣的主對角線上各個元素的總和，是矩陣所有特徵值的和
（6）對角矩陣的特徵值是其對角線上的各個元素
（7）矩陣的秩等於非零奇異值的個數，等於非零特徵值的個數
（8）任意矩陣都能進行奇異值分解，只有方陣纔可以進行特徵值分解
特徵值分解：
如果一個向量 v 是方陣 A的特徵向量，將可以表示成下面的形式： Av= λv，λ 稱爲特徵向量 v 對應的特徵值，並且一個矩 陣的 一組特徵向量是一組正交向量。
特徵值分解：Q是這個矩陣A的特徵向量組成的矩陣，Σ是一個對角陣，每一個對角線上的元素就是一個特徵值
奇異值分解：
假設A是一個N * M的矩陣，U是一個N * N的方陣（正交矩陣），Σ 是一個N * M的矩陣（對角線上的元素爲奇異值），VT是 一個M * M的矩陣（正交矩陣）
特徵值和奇異值的關係：
（1）U 的列向量，是 AA^T 的特徵向量；
（2）V的列向量，是 A^TA 的特徵向量；
（3）A的奇異值（Σ 的非零對角元素）則是 AA^T 或者 A^TA 的非零特徵值的平方根。
（9）秩與自由度（ 方陣A(n*n) ）
矩陣的秩，指的是經過初等變換之後的非零行（列）的個數，若不存在零行（列），則爲滿秩矩陣（Rank(A)=n；關於矩陣 的秩的另一種理解：A矩陣將n維空間中的向量映射到k（k<=n）維空間中，k=Rank(A)
矩陣（參數矩陣）的自由度，指的是要想求解出矩陣的所有元素至少需要列幾個線性方程組。若矩陣本身帶有 x 個約束，則 只需要列n*n-x個方程組即可求出所有參數，即矩陣A的自由度爲n*n-x。
2.線性方程組求解
齊次方程：Ax=0
1. r(A)=未知數個數n（約束較強），該解空間只含有零向量
2.r(A)<未知數個數n（約束不夠），由齊次線性方程組解空間維數 = n - r(A) >0，所以該齊次線性方程組有非零解，而且不唯 一，存在一個基礎解系（基礎解系中的向量個數爲 n - r(A)個)。
非齊次方程： AX=B
（1）R(A)< r(A|B),方程組無解
（2）r(A)=r(A|B)=n,方程組有唯一解
（3）r(A)=r(A|B) < n,方程組有無窮解
（4）r(A)>r(A|B),這種情況不存在
其中r()代表矩陣的秩，A|B是增廣矩陣，n是X未知數個數。
QR分解
矩陣的QR分解是指，可以將矩陣A分級成一個正交陣Q和一個上三角矩陣R的乘積。實際中，QR分解經常被用來解線性最小 二乘問題。
對於非方陣的m∗n(m≥n)m∗n(m≥n)階矩陣A也可能存在QR分解。這時Q爲m*m階的正交矩陣，R爲m*n階上三角矩陣。 這時的QR分解不是完整的(方陣)，因此稱爲約化QR分解(對於列滿秩矩陣A必存在約化QR分解)。同時也可以通過擴充矩陣A 爲 方陣或者對矩陣R補零，可以得到完全QR分解。
SVD分解
奇異值分解：
假設A是一個N * M的矩陣，U是一個N * N的方陣（正交矩陣），Σ 是一個N * M的矩陣（對角線上的元素爲奇異值），VT是 一個M * M的矩陣（正交矩陣）
特徵值和奇異值的關係：
（1）U 的列向量，是 AA^T 的特徵向量；
（2）V的列向量，是 A^TA 的特徵向量；
（3）A的奇異值（Σ 的非零對角元素）則是 AA^T 或者 A^TA 的非零特徵值的平方根。
SVD分解解滿秩（虧秩）最小二乘問題
LDLT分解
對稱矩陣A可以分解成一個下三角矩陣L（Lower下）和一個對角矩陣D（Diagonal對角線）以及一個下三角矩陣L的轉置LT三 個矩陣相乘的形式。如下式
求解過程：
Cholesky分解
Cholesky分解是LDLT分解的一種特殊形式，也就是其中的D是單位矩陣。正定對稱矩陣 A可以分解成一個下三角矩陣L和這 個下三角矩陣L的轉置LT相乘的形式。如下式
Cholesky分解解滿秩最小二乘問題 ：
參考：
1.https://zhuanlan.zhihu.com/p/55567702
2. https://blog.csdn.net/wangshuailpp/article/details/80209863
