SVD奇异值分解简析

Singular Value Decomposition（SVD，奇异值分解）

1. Full SVD
   矩阵Amn ，其中m和n不一定相等，可以写成：
   

   Amn=UmmSmnVnn
   
   Umm 由AAT 的特征向量构成；
   Vnn 由ATA 的特征向量构成；
   AAT 和ATA 的非零特征值相同，但特征值对应的特征向量不一定相同；

2. Reduced SVD
   矩阵Amn ，其中m和n不一定相等，可以写成：
   

   Amn=UmkSkkVkn
   
   Umk 由AAT 的前k个特征向量构成；
   Vkn 由ATA 的前k个特征向量构成；
   其中，k是可配置项，选取前k个信息量最大的维。可以将一个大矩阵分解成三个小矩阵，降低存储和运算，同时保证信息的损失在可控范围之内。语音识别领域对模型进行low-rank处理就是基于此思想。

3. SVD的抽象说明
   ① 进行空间变换，变换后各维信息是独立的，从而更好展示原始数据的区分性；
   ② 对各维信息的重要程度进行排序，从而根据每维信息的重要程度进行针对性的选择，从而达到数据降维的作用。

参考文献：
Singular Value Decomposition Tutorial，Kirk Baker，2013