常見臨近點算子的求解

本文將利用線性代數的知識推導出常見臨近點算子的解，具體包括：

• 投影算子
• 一範數
• 二次多項式
• 核範數

臨近點算子的標準形式

$prox_{\lambda f}(v)=\arg\min_x\left(f(x)+(1/2\lambda)\|x-v\|_2^2\right)=\arg\min_xJ(x)$

投影算子

$f=I_C$爲凸集$C$上的示性函數，則：
$prox_{\lambda I_C}(v)=\Pi_C(v)=\arg\min_{x\in C}\|x-v\|_2$
即解爲凸集$C$上與點$v$距離最小的點（投影點）。
示性函數的定義爲
$I_C(x)=\left\{ \begin{aligned} 0 &, x\in C\\ +\infty&, x\notin C \end{aligned}\right.$
由示性函數的定義可知，$x$必然在$C$的內部，示性函數的臨近點算子是顯然的。

二次函數

$f(x)=(1/2)x^TPx+q^Tx+r$
$prox_{\lambda f}(v)=(I+\lambda P)^{-1}(v-\lambda q)$
二次函數是可微的，因此可以先求偏導數，然後利用最優化條件將偏導數置零。
$\nabla_x J(x)=Px+q+1/\lambda (x-v)=0$
整理後得到：
$(I+\lambda P)x=v-\lambda q$
兩邊求逆即可。

一範數

$f=\|\cdot\|_1$
$prox_{\lambda f}(v)=(v-\lambda)_+-(-v-\lambda)_+= \left\{ \begin{aligned} v_i-\lambda &,v_i\ge\lambda \\ 0&, |v_i|\le\lambda \\ v_i+\lambda &,v_i\le-\lambda \end{aligned}\right.$
由於一範數具有可分性，因此可以將原始的向量優化問題轉換爲標量優化問題，直接將$x$表示標量$x_i$，$v$表示$v_i$，得到：
$J(x)=|x|+(1/2\lambda)(x-v)^2$
此時可以通過討論$x\ge0, x<0$來化爲簡單的二次函數優化問題。

核範數

核範數在矩陣$X$上定義，爲所有奇異值絕對值的和，即奇異值組成的向量的一範數。
$\|X\|_*=\sum_i |\lambda_i|$
關於核範數的臨近點算子的優化目標爲：
$J(X)=\|X\|_*+(1/2\lambda)\|X-V\|_F^2$
解爲：
$prox_{\lambda \|\cdot\|_*}=Vdiag(prox_{\lambda f}(\sigma_s(A)))U$
其中$U\sigma_sV$爲$A$的SVD分解。