SVD奇異值分解簡析

Singular Value Decomposition（SVD，奇異值分解）

1. Full SVD
   矩陣Amn ，其中m和n不一定相等，可以寫成：
   

   Amn=UmmSmnVnn
   
   Umm 由AAT 的特徵向量構成；
   Vnn 由ATA 的特徵向量構成；
   AAT 和ATA 的非零特徵值相同，但特徵值對應的特徵向量不一定相同；

2. Reduced SVD
   矩陣Amn ，其中m和n不一定相等，可以寫成：
   

   Amn=UmkSkkVkn
   
   Umk 由AAT 的前k個特徵向量構成；
   Vkn 由ATA 的前k個特徵向量構成；
   其中，k是可配置項，選取前k個信息量最大的維。可以將一個大矩陣分解成三個小矩陣，降低存儲和運算，同時保證信息的損失在可控範圍之內。語音識別領域對模型進行low-rank處理就是基於此思想。

3. SVD的抽象說明
   ① 進行空間變換，變換後各維信息是獨立的，從而更好展示原始數據的區分性；
   ② 對各維信息的重要程度進行排序，從而根據每維信息的重要程度進行針對性的選擇，從而達到數據降維的作用。

參考文獻：
Singular Value Decomposition Tutorial，Kirk Baker，2013