使用SVD来求解优化问题最优值以及求解PCA

使用SVD来求解优化问题最优值

假设我们想要求解如下问题：

$R\mathbf{^{*}} =\underset{R}{\operatorname{argmax}}\sum ^{n}_{i=1} q^{T}_{i} Rp_{i} =\sum ^{n}_{i=1} tr\left( Q^{T} RP\right)_{ii} =tr\left( Q^{T} RP\right)$

令$\displaystyle H\triangleq \sum ^{n}_{i=1} p_{i} q^{T}_{i}$，于是问题变成求解如下最优值：

$R\mathbf{^{*}} =\underset{R}{\operatorname{argmax}}\ tr\left( Q^{T} RP\right)=tr\left( RPQ^{T}\right)=tr\left( RH\right)$

现在，如果H的SVD分解为，$\displaystyle H=U\Lambda V^{T}$，可以证明

$R\mathbf{^{*}} =VU^{T}$

一定是该优化问题的最优解。

现在证明一个引理：

引理1：对于任意的正定矩阵$\displaystyle AA^{T}$,对于任意的正交矩阵B，则有
$\operatorname{Tr}\left( AA^{T}\right) \geq \operatorname{Tr}\left( BAA^{T}\right)$

证明：令$\displaystyle a_{i}$是A的第i列，于是
$\begin{aligned} \operatorname{Tr}\left( BAA^{t}\right) & =\operatorname{Tr}\left( A^{t} BA\right)\\ & =\sum _{i} a^{t}_{i}( Ba_{i}) \end{aligned}$

根据Cauchy–Schwarz_inequality,

$a^{T}_{i}( Ba_{i}) \leq \sqrt{\left( a^{T}_{i} a_{i}\right)\left( a^{T}_{i} B^{T} Ba_{i}\right)} =a^{T}_{i} a_{i}$

因为B是正交矩阵，所以$\displaystyle B^{T} B=E$.因此

$\operatorname{Tr}\left( BAA^{T}\right) \leqslant \sum _{i} a^{T}_{i} a_{i} =\operatorname{Tr}\left( AA^{T}\right)$
证毕。

现设
$X=VU^{T} \ \left( 这是正交矩阵,X^{T} X=UV^{T} VU^{T} =E\right)$
于是
$\begin{aligned} XH & =VU^{T} U\Lambda V^{T}\\ & =V\Lambda V^{T} \end{aligned}$
因此$\displaystyle XH$是一个对称而且正定的矩阵，根据Cholesky分解，$\displaystyle XH$一定可以分解成$\displaystyle AA^{T}$的形式，于是根据上述引理，对于任意的正交矩阵B，这样的对称正定矩阵一定满足公式：
$\operatorname{Tr}( XH) \geq \operatorname{Tr}( BXH)$
于是，$\displaystyle \operatorname{Tr}( XH)$一定是最优值，因为任意的变换都会使得该它减少。这个东西告诉我们，只要我们能够对H进行SVD分解，那么我们一定能够找到一个最优的X使得$\displaystyle \operatorname{Tr}( XH)$最大。

使用SVD来求解PCA

如上图，PCA本质上就是求解方差的特征向量，而这个特征向量其实就是图中里面的V。

参考资料

Arun, K. Somani, Thomas S. Huang, and Steven D. Blostein. “Least-squares fitting of two 3-D point sets.” IEEE Transactions on pattern analysis and machine intelligence 5 (1987): 698-700.

https://zhuanlan.zhihu.com/p/35893884

An easy introduction to unsupervised learning with 4 basic techniques