矩陣分解Matrix Factorization

項目地址：https://github.com/Daya-Jin/ML_for_learner
原博客：https://daya-jin.github.io/2019/01/07/MatrixFactorization/

概述

在機器學習領域通常會用到矩陣分解技術，目的就是維度規約或壓縮存儲，本文做一個簡單的總結與概述。

EVD

特徵值分解(Eigenvalue Decomposition)，假設對於一個$n{\times}n$的方陣$A$，有如下等式成立：

$A\vec{v}=\lambda\vec{v}$

其中$\lambda$爲常數，$\vec{v}$爲列向量。那麼滿足上式的$\lambda$爲矩陣$A$的特徵值，對應的$\vec{v}$爲特徵向量，方陣的特徵向量是相互正交的。寫成矩陣形式有：

$A=Q{\Sigma}Q^{-1}$

其中$\Sigma$爲特徵值由大到小排列構成的對角矩陣，$Q$爲特徵向量構成的方陣。選取前$k$大的特徵值，那麼降維後的$A$可以表示成：

$A_{reduc}=A_{n{\times}n}(Q^{-1})_{n{\times}k}$

EVD即是PCA的原理。

SVD

奇異值分解(Singular Value Decomposition)，假設對一個$n{\times}m$的矩陣$A$，SVD的目標是把$A$分解成如下形式：

$A=U{\Sigma}V^{T}$

其中$\Sigma$是與$A$同形狀的奇異值矩陣。由矩陣乘法的性質可得，矩陣$U$的形狀爲$n{\times}n$，$V^{T}$的形狀爲$m{\times}m$。同樣類似的，$U$與$V$都是正交方陣。

SVD可以通過EVD來實現，注意到：

$AA^{T}=U\Sigma\Sigma^{T}U^{T} \\ A^{T}A=V\Sigma^{T}{\Sigma}V^{T} \\$

不難發現可以分別通過對$AA^{T}$和$A^{T}A$做EVD可以得到$U$和$V$，而$\Sigma$則是特徵值的開方。選取前$k$大的奇異值，那麼$A$可以近似壓縮存儲成：

$A_{comp}=U_{n{\times}k}\Sigma_{k{\times}k}(V^{T})_{k{\times}m}$

對於降維，有：

$A_{reduc}=A_{n{\times}m}(V^{T})_{m{\times}k}$