1 正交矩陣&正交變換

正交變換是保持圖形形狀和大小不變的幾何變換，包含旋轉、平移、軸對稱及這些變換的複合形式，正交變換可以保持向量的長度和向量之間的角度不變。特別的，標準正交基經正交變換後仍爲標準正交基。

在有限維的空間中，正交變換在標準正交基下的矩陣表示爲正交矩陣，其所有行和所有列也都各自構成一組標準正交基。

同時，正交變換的逆變換也是正交變換，後者的矩陣表示是前者矩陣表示的逆。

2 特徵值分解（Eigen Value Decomposition，EVD）

2.1 定義

【百度百科】特徵分解（Eigendecomposition），又稱譜分解（Spectral decomposition）是將矩陣分解爲由其特徵值和特徵向量表示的矩陣之積的方法。需要注意只有對可對角化矩陣纔可以施以特徵分解。

如果矩陣 $A$ 是一個 $m \times m$ 的實對稱矩陣（即 $A=A^T$ ），那麼它可以被分解爲如下形式：

$A=Q \Lambda Q^T=Q \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_m \end{bmatrix} Q^T \tag{2-1}$

其中 $Q$ 爲標準正交陣，即有 $QQ^T=I$ ， $\Lambda$ 爲 $m \times m$ 的對角矩陣， $\lambda_i$ 稱爲特徵值， $Q$ 爲特徵矩陣， $Q$ 中的列向量 $q_i$ 稱爲特徵向量。

2.2 推導

假設存在 $m \times m$ 的滿秩對稱矩陣 $A$ ，它有 $m$ 個不同的特徵值 $\lambda_i(i=1,2,...,m)$ ，對應的特徵向量爲 $x_i(i=1,2,...,m)$ （ $x_i$ 爲 $m$ 維列向量），則有：

$\begin{array}{cc} Ax_1=\lambda_1 x_1 \\ Ax_2=\lambda_2 x_2 \\ \cdots \\ Ax_m=\lambda_m x_m \end{array} \tag{2-2}$

令 $U=\begin{bmatrix} x_1 & x_2 & \cdots & x_m \end{bmatrix}$ ，則上式可以表示爲矩陣形式：

$AU=U\Lambda \tag{2-3}$

$\Lambda= \begin{bmatrix} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_m \end{bmatrix} \tag{2-4}$

進一步就可以得到A的特徵值分解：

$A=U\Lambda U^{-1}=U\Lambda U^T \tag{2-5}$

3 奇異值分解（Singular Value Decomposition，SVD）

3.1 定義

【百度百科】奇異值分解（Singular Value Decomposition）是線性代數中一種重要的矩陣分解，奇異值分解則是特徵分解在任意矩陣上的推廣。在信號處理、統計學等領域有重要應用。

如果 $A$ 是一個 $m \times n$ 階矩陣，則存在一個分解使得：

$A=U \Sigma V^T$

其中 $U$ 和 $V$ 分別爲 $m \times m$ 和 $n \times n$ 的酉矩陣/單位正交矩陣（即 $UU^T=U^TU=I，VV^T=V^TV=I$ ）。 $U$ 稱爲左奇異矩陣， $V$ 稱爲右奇異矩陣， $\Sigma$ 對角線上的元素 $\sigma_i$ 即爲 $M$ 的奇異值。一般地 $\Sigma$ 有如下形式：

$\Sigma= \begin{bmatrix} \sigma_1 & 0 & \cdots & 0 \\ 0 & \sigma_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 \end{bmatrix}_{m \times n} \tag{3-1}$

3.2 推導

在矩陣的特徵值分解中，矩陣 $A$ 的行列維度是相同的，但在實際應用中，矩陣往往是非方陣、非對稱的（如點雲配準問題等）。爲了對這類矩陣進行分解，我們引入奇異值分解（SVD）。

假設矩陣 $A$ 的維度爲 $m \times n (m \not= n)$ ，雖 $A$ 不是方陣，但 $AA^T$ 和 $A^TA$ 均爲方陣，其維度分別爲 $m \times m$ 和 $n \times n$ 。因此可以對這兩個方陣分別進行特徵值分解：

$AA^T= P \Lambda_1 P^T \\ A^TA= Q \Lambda_2 Q^T \tag{3-2}$

其中 $\Lambda_1$ 和 $\Lambda_2$ 均爲對角矩陣，且兩個方陣具有相同的非零特徵值 ${\sigma_1,\sigma_2,...,\sigma_k}$ ，其中 $k \leq min(m,n)$ 。這樣就可以進一步得到奇異值分解的公式：

$A=P \Lambda Q^T \tag{3-3}$

接下來通過更直觀的方式對SVD的原理和推導過程進行說明（參考：You Don’t Know SVD (Singular Value Decomposition)）。

首先從最簡單的二維座標說起，任何力矢量都可以沿 $x$ 和 $y$ 軸分解：

這其實就是最簡單的SVD，SVD就是將向量分解到正交軸上（正交變換前的正交軸和正交變換後的正交軸）。

如下圖，我們將向量 $a$ 進行分解：

可以得到3個信息：

投影方向（單位向量 $v_1$ 和 $v_2$ ）：表示沿着 $x$ 和 $y$ 軸的投影方向，這也可以爲其它的正交軸；
投影長度（線段 $s_{a1}$ 和 $s_{a2}$ ）
投影向量（ $p_{a1}$ 和 $p_{a2}$ ）：通過投影向量可以反向計算出原始向量 $a$ ，同時我們可以發現 $p_{a1}=s_{a1}*v_1$ ， $p_{a2}=s_{a2}*v_2$