常见临近点算子的求解

本文将利用线性代数的知识推导出常见临近点算子的解，具体包括：

• 投影算子
• 一范数
• 二次多项式
• 核范数

临近点算子的标准形式

$prox_{\lambda f}(v)=\arg\min_x\left(f(x)+(1/2\lambda)\|x-v\|_2^2\right)=\arg\min_xJ(x)$

投影算子

$f=I_C$为凸集$C$上的示性函数，则：
$prox_{\lambda I_C}(v)=\Pi_C(v)=\arg\min_{x\in C}\|x-v\|_2$
即解为凸集$C$上与点$v$距离最小的点（投影点）。
示性函数的定义为
$I_C(x)=\left\{ \begin{aligned} 0 &, x\in C\\ +\infty&, x\notin C \end{aligned}\right.$
由示性函数的定义可知，$x$必然在$C$的内部，示性函数的临近点算子是显然的。

二次函数

$f(x)=(1/2)x^TPx+q^Tx+r$
$prox_{\lambda f}(v)=(I+\lambda P)^{-1}(v-\lambda q)$
二次函数是可微的，因此可以先求偏导数，然后利用最优化条件将偏导数置零。
$\nabla_x J(x)=Px+q+1/\lambda (x-v)=0$
整理后得到：
$(I+\lambda P)x=v-\lambda q$
两边求逆即可。

一范数

$f=\|\cdot\|_1$
$prox_{\lambda f}(v)=(v-\lambda)_+-(-v-\lambda)_+= \left\{ \begin{aligned} v_i-\lambda &,v_i\ge\lambda \\ 0&, |v_i|\le\lambda \\ v_i+\lambda &,v_i\le-\lambda \end{aligned}\right.$
由于一范数具有可分性，因此可以将原始的向量优化问题转换为标量优化问题，直接将$x$表示标量$x_i$，$v$表示$v_i$，得到：
$J(x)=|x|+(1/2\lambda)(x-v)^2$
此时可以通过讨论$x\ge0, x<0$来化为简单的二次函数优化问题。

核范数

核范数在矩阵$X$上定义，为所有奇异值绝对值的和，即奇异值组成的向量的一范数。
$\|X\|_*=\sum_i |\lambda_i|$
关于核范数的临近点算子的优化目标为：
$J(X)=\|X\|_*+(1/2\lambda)\|X-V\|_F^2$
解为：
$prox_{\lambda \|\cdot\|_*}=Vdiag(prox_{\lambda f}(\sigma_s(A)))U$
其中$U\sigma_sV$为$A$的SVD分解。