使用SVD來求解優化問題最優值以及求解PCA

使用SVD來求解優化問題最優值

假設我們想要求解如下問題：

$R\mathbf{^{*}} =\underset{R}{\operatorname{argmax}}\sum ^{n}_{i=1} q^{T}_{i} Rp_{i} =\sum ^{n}_{i=1} tr\left( Q^{T} RP\right)_{ii} =tr\left( Q^{T} RP\right)$

令$\displaystyle H\triangleq \sum ^{n}_{i=1} p_{i} q^{T}_{i}$，於是問題變成求解如下最優值：

$R\mathbf{^{*}} =\underset{R}{\operatorname{argmax}}\ tr\left( Q^{T} RP\right)=tr\left( RPQ^{T}\right)=tr\left( RH\right)$

現在，如果H的SVD分解爲，$\displaystyle H=U\Lambda V^{T}$，可以證明

$R\mathbf{^{*}} =VU^{T}$

一定是該優化問題的最優解。

現在證明一個引理：

引理1：對於任意的正定矩陣$\displaystyle AA^{T}$,對於任意的正交矩陣B，則有
$\operatorname{Tr}\left( AA^{T}\right) \geq \operatorname{Tr}\left( BAA^{T}\right)$

證明：令$\displaystyle a_{i}$是A的第i列，於是
$\begin{aligned} \operatorname{Tr}\left( BAA^{t}\right) & =\operatorname{Tr}\left( A^{t} BA\right)\\ & =\sum _{i} a^{t}_{i}( Ba_{i}) \end{aligned}$

根據Cauchy–Schwarz_inequality,

$a^{T}_{i}( Ba_{i}) \leq \sqrt{\left( a^{T}_{i} a_{i}\right)\left( a^{T}_{i} B^{T} Ba_{i}\right)} =a^{T}_{i} a_{i}$

因爲B是正交矩陣，所以$\displaystyle B^{T} B=E$.因此

$\operatorname{Tr}\left( BAA^{T}\right) \leqslant \sum _{i} a^{T}_{i} a_{i} =\operatorname{Tr}\left( AA^{T}\right)$
證畢。

現設
$X=VU^{T} \ \left( 這是正交矩陣,X^{T} X=UV^{T} VU^{T} =E\right)$
於是
$\begin{aligned} XH & =VU^{T} U\Lambda V^{T}\\ & =V\Lambda V^{T} \end{aligned}$
因此$\displaystyle XH$是一個對稱而且正定的矩陣，根據Cholesky分解，$\displaystyle XH$一定可以分解成$\displaystyle AA^{T}$的形式，於是根據上述引理，對於任意的正交矩陣B，這樣的對稱正定矩陣一定滿足公式：
$\operatorname{Tr}( XH) \geq \operatorname{Tr}( BXH)$
於是，$\displaystyle \operatorname{Tr}( XH)$一定是最優值，因爲任意的變換都會使得該它減少。這個東西告訴我們，只要我們能夠對H進行SVD分解，那麼我們一定能夠找到一個最優的X使得$\displaystyle \operatorname{Tr}( XH)$最大。

使用SVD來求解PCA

如上圖，PCA本質上就是求解方差的特徵向量，而這個特徵向量其實就是圖中裏面的V。

參考資料

Arun, K. Somani, Thomas S. Huang, and Steven D. Blostein. “Least-squares fitting of two 3-D point sets.” IEEE Transactions on pattern analysis and machine intelligence 5 (1987): 698-700.

https://zhuanlan.zhihu.com/p/35893884

An easy introduction to unsupervised learning with 4 basic techniques