前面章节中，针对 min f ( x ) + g ( A x ) \min f(x)+g(Ax) min f ( x ) + g ( A x ) x k + 1 = prox t h ( x k − t k ∇ g ( x k ) )
x_{k+1}=\text{prox}_{th}(x_k-t_k\nabla g(x_k))
x k + 1 = prox t h ( x k − t k ∇ g ( x k ) ) ( x k + 1 , y k + 1 ) = arg min x , y L t ( x , y , z k )
(x^{k+1},y^{k+1}) = \arg\min_{x,y} L_t(x,y,z^k)
( x k + 1 , y k + 1 ) = arg x , y min L t ( x , y , z k ) f , g f,g f , g min f ( x ) + g ( A x ) \min f(x)+g(Ax) min f ( x ) + g ( A x ) x ⋆ x^\star x ⋆ 0 ∈ ∂ f ( x ⋆ ) + A T ∂ g ( x ⋆ ) 0\in\partial f(x^\star)+A^T\partial g(x^\star) 0 ∈ ∂ f ( x ⋆ ) + A T ∂ g ( x ⋆ )
针对如下优化问题，其中 f , g f,g f , g min f ( x ) + g ( x )
\min f(x)+g(x)
min f ( x ) + g ( x )
先给出 DR-splitting 方法的迭代方程x k + 1 = prox f ( y k ) y k + 1 = y k + prox g ( 2 x k + 1 − y k ) − x k + 1
\begin{array}{l}
x_{k+1}=\operatorname{prox}_{f}\left(y_{k}\right) \\
y_{k+1}=y_{k}+\operatorname{prox}_{g}\left(2 x_{k+1}-y_{k}\right)-x_{k+1}
\end{array}
x k + 1 = p r o x f ( y k ) y k + 1 = y k + p r o x g ( 2 x k + 1 − y k ) − x k + 1
为什么叫做 splitting 呢？回忆 PPA 是不是需要求解 x + = prox t ( f + g ) ( x ) x^+ = \text{prox}_{t(f+g)}(x) x + = prox t ( f + g ) ( x ) prox f \text{prox}_f prox f prox g \text{prox}_g prox g x k x_k x k 0 ∈ ∂ f ( x ) + ∂ g ( x ) 0\in \partial f(x)+\partial g(x) 0 ∈ ∂ f ( x ) + ∂ g ( x )
首先 f , g f,g f , g x k + 1 = prox g ( y k ) y k + 1 = y k + prox f ( 2 x k + 1 − y k ) − x k + 1
\begin{array}{l}
x_{k+1}=\operatorname{prox}_{g}\left(y_{k}\right) \\
y_{k+1}=y_{k}+\operatorname{prox}_{f}\left(2 x_{k+1}-y_{k}\right)-x_{k+1}
\end{array}
x k + 1 = p r o x g ( y k ) y k + 1 = y k + p r o x f ( 2 x k + 1 − y k ) − x k + 1 f , g f,g f , g
如果把 x k + 1 x_{k+1} x k + 1 y k + 1 = F ( y ) F ( y ) = y + prox g ( 2 prox f ( y ) − y ) − prox f ( y )
y_{k+1} = F(y) \\
F(y)=y+\operatorname{prox}_{g}\left(2 \operatorname{prox}_{f}(y)-y\right)-\operatorname{prox}_{f}(y)
y k + 1 = F ( y ) F ( y ) = y + p r o x g ( 2 p r o x f ( y ) − y ) − p r o x f ( y ) 不动点迭代 (fixed-point iteration)！就是在找函数 F ( y ) F(y) F ( y ) F ( y ) F(y) F ( y ) prox h ( x ) \text{prox}_{h}(x) prox h ( x ) ( prox h ( x ) − prox h ( y ) ) T ( x − y ) ≥ ∥ prox h ( x ) − prox h ( y ) ∥ 2 2
\left(\operatorname{prox}_{h}(x)-\operatorname{prox}_{h}(y)\right)^{T}(x-y) \geq\left\|\operatorname{prox}_{h}(x)-\operatorname{prox}_{h}(y)\right\|_{2}^{2}
( p r o x h ( x ) − p r o x h ( y ) ) T ( x − y ) ≥ ∥ p r o x h ( x ) − p r o x h ( y ) ∥ 2 2 F ( y ) F(y) F ( y ) y y y y = F ( y ) ⟺ 0 ∈ ∂ f ( prox f ( y ) ) + ∂ g ( prox f ( y ) )
y=F(y) \\
\iff 0 \in \partial f\left(\operatorname{prox}_{f}(y)\right)+\partial g\left(\operatorname{prox}_{f}(y)\right)
y = F ( y ) ⟺ 0 ∈ ∂ f ( p r o x f ( y ) ) + ∂ g ( p r o x f ( y ) ) 证明 ：对于不动点 y = F ( y ) y=F(y) y = F ( y ) x = prox f ( y ) x=\text{prox}_f(y) x = prox f ( y ) x = prox f ( y ) , F ( y ) = y ⟺ x = prox f ( y ) , x = prox g ( 2 x − y ) ⟺ y − x ∈ ∂ f ( x ) , x − y ∈ ∂ g ( x )
\begin{aligned}x=\text{prox}_f(y),&\quad F(y)=y \\
\iff x=\text{prox}_f(y),&\quad x=\text{prox}_g(2x-y) \\\iff y-x\in \partial f(x),&\quad x-y\in\partial g(x)\end{aligned}
x = prox f ( y ) , ⟺ x = prox f ( y ) , ⟺ y − x ∈ ∂ f ( x ) , F ( y ) = y x = prox g ( 2 x − y ) x − y ∈ ∂ g ( x ) x x x F ( y ) F(y) F ( y ) 0 = ( y − x ) + ( x − y ) ∈ ∂ f ( x ) + ∂ g ( x )
0=(y-x)+(x-y)\in\partial f(x)+\partial g(x)
0 = ( y − x ) + ( x − y ) ∈ ∂ f ( x ) + ∂ g ( x ) x k x_{k} x k
等价形式 ：下面这部分则主要是对原始形式做了一些变量代换 ，使其看起来更简洁，并没有新的内容。首先交换 x , y x,y x , y y k + 1 = y k + prox g ( 2 x k − y k ) − x k x k + 1 = prox f ( y k + 1 )
\begin{array}{l}
y_{k+1}=y_{k}+\operatorname{prox}_{g}\left(2 x_{k}-y_{k}\right)-x_{k} \\
x_{k+1}=\operatorname{prox}_{f}\left(y_{k+1}\right)
\end{array}
y k + 1 = y k + p r o x g ( 2 x k − y k ) − x k x k + 1 = p r o x f ( y k + 1 ) u k + 1 = prox g ( 2 x k − y k ) , w k = x k − y k u_{k+1}=\text{prox}_g(2x_k-y_k),w_k=x_k-y_k u k + 1 = prox g ( 2 x k − y k ) , w k = x k − y k u k + 1 = prox g ( x k + w k ) x k + 1 = prox f ( u k + 1 − w k ) w k + 1 = w k + x k + 1 − u k + 1
\begin{aligned}
u_{k+1} &=\operatorname{prox}_{g}\left(x_{k}+w_{k}\right) \\
x_{k+1} &=\operatorname{prox}_{f}\left(u_{k+1}-w_{k}\right) \\
w_{k+1} &=w_{k}+x_{k+1}-u_{k+1}
\end{aligned}
u k + 1 x k + 1 w k + 1 = p r o x g ( x k + w k ) = p r o x f ( u k + 1 − w k ) = w k + x k + 1 − u k + 1 放缩 ：除此之外，我们还可以对原始问题做一个放缩变为 min t f ( x ) + t g ( x ) \min tf(x)+tg(x) min t f ( x ) + t g ( x ) u k + 1 = prox t g ( x k + w k ) x k + 1 = prox t f ( u k + 1 − w k ) w k + 1 = w k + x k + 1 − u k + 1
\begin{aligned}
u_{k+1} &=\operatorname{prox}_{tg}\left(x_{k}+w_{k}\right) \\
x_{k+1} &=\operatorname{prox}_{tf}\left(u_{k+1}-w_{k}\right) \\
w_{k+1} &=w_{k}+x_{k+1}-u_{k+1}
\end{aligned}
u k + 1 x k + 1 w k + 1 = p r o x t g ( x k + w k ) = p r o x t f ( u k + 1 − w k ) = w k + x k + 1 − u k + 1 松弛 ：前面降到了实际上是在对 y y y y k + 1 = y k + ρ k ( F ( y k ) − y k )
y_{k+1}=y_{k}+\rho_{k}\left(F\left(y_{k}\right)-y_{k}\right)
y k + 1 = y k + ρ k ( F ( y k ) − y k ) 1 < ρ k < 2 1<\rho_k<2 1 < ρ k < 2 0 < ρ k < 1 0<\rho_k<1 0 < ρ k < 1 u k + 1 = prox g ( x k + w k ) x k + 1 = prox f ( x k + ρ k ( u k + 1 − x k ) − w k ) w k + 1 = w k + x k + 1 − x k + ρ k ( x k − u k + 1 )
\begin{aligned}
u_{k+1} &=\operatorname{prox}_{g}\left(x_{k}+w_{k}\right) \\
x_{k+1} &=\operatorname{prox}_{f}\left(x_{k}+\rho_{k}\left(u_{k+1}-x_{k}\right)-w_{k}\right) \\
w_{k+1} &=w_{k}+x_{k+1}-x_{k}+\rho_{k}\left(x_{k}-u_{k+1}\right)
\end{aligned}
u k + 1 x k + 1 w k + 1 = p r o x g ( x k + w k ) = p r o x f ( x k + ρ k ( u k + 1 − x k ) − w k ) = w k + x k + 1 − x k + ρ k ( x k − u k + 1 ) 共轭函数 ：根据 Moreau decomposition prox g ( x ) + prox g ⋆ ( x ) = x \text{prox}_g(x)+\text{prox}_{g^\star}(x)=x prox g ( x ) + prox g ⋆ ( x ) = x prox g \text{prox}_g prox g x k + 1 = prox f ( y k ) y k + 1 = x k + 1 − prox g ∗ ( 2 x k + 1 − y k )
\begin{array}{l}
x_{k+1}=\operatorname{prox}_{f}\left(y_{k}\right) \\
y_{k+1}=x_{k+1}-\operatorname{prox}_{g^{*}}\left(2 x_{k+1}-y_{k}\right)
\end{array}
x k + 1 = p r o x f ( y k ) y k + 1 = x k + 1 − p r o x g ∗ ( 2 x k + 1 − y k ) f , g f,g f , g
例子 1 X ∈ S n X\in S^n X ∈ S n C ∈ S + n , γ > 0 C\in S_+^n,\gamma>0 C ∈ S + n , γ > 0 minimize tr ( C X ) − log det X + γ ∑ i > j ∣ X i j ∣
\text { minimize } \quad \operatorname{tr}(C X)-\log \operatorname{det} X+\gamma \sum_{i>j}\left|X_{i j}\right|
minimize t r ( C X ) − log d e t X + γ i > j ∑ ∣ X i j ∣ f ( X ) = tr ( C X ) − log det X , g ( X ) = γ ∑ i > j ∣ X i j ∣ f(X)=\operatorname{tr}(C X)-\log \operatorname{det} X,\quad g(X)=\gamma \sum_{i>j}\left|X_{i j}\right| f ( X ) = t r ( C X ) − log d e t X , g ( X ) = γ ∑ i > j ∣ X i j ∣
X = prox t f ( X ^ ) ⟺ C − X − 1 + ( 1 / t ) ( X − X ^ ) X=\text{prox}_{tf}(\hat{X}) \iff C-X^{-1}+(1/t)(X-\hat{X}) X = prox t f ( X ^ ) ⟺ C − X − 1 + ( 1 / t ) ( X − X ^ ) X ^ − t C \hat{X}-tC X ^ − t C
X = prox t g ( X ^ ) X=\text{prox}_{tg}(\hat{X}) X = prox t g ( X ^ )
例子 2 min f ( x ) s.t. x ∈ V
\begin{aligned}
\min \quad& f(x)\\
\text{s.t.} \quad& x\in V
\end{aligned}
min s.t. f ( x ) x ∈ V g = δ V g=\delta_V g = δ V x k + 1 = prox g ( y k ) y k + 1 = y k + P V ( 2 x k + 1 − y k ) − x k + 1
\begin{array}{l}
x_{k+1}=\operatorname{prox}_{g}\left(y_{k}\right) \\
y_{k+1}=y_{k}+P_V\left(2 x_{k+1}-y_{k}\right)-x_{k+1}
\end{array}
x k + 1 = p r o x g ( y k ) y k + 1 = y k + P V ( 2 x k + 1 − y k ) − x k + 1 例子 3 min f 1 ( x ) + f 2 ( A x ) \min f_1(x)+f_2(Ax) min f 1 ( x ) + f 2 ( A x ) min f 1 ( x ) + f 2 ( y ) s.t. A x = y
\begin{aligned}
\min \quad& f_1(x)+f_2(y) \\
\text{s.t.} \quad& Ax=y
\end{aligned}
min s.t. f 1 ( x ) + f 2 ( y ) A x = y f ( x 1 , x 2 ) = f 1 ( x 1 ) + f 2 ( x 2 ) f(x_1,x_2)=f_1(x_1)+f_2(x_2) f ( x 1 , x 2 ) = f 1 ( x 1 ) + f 2 ( x 2 ) prox t f ( x 1 , x 2 ) = ( prox t f 1 ( x 1 ) , prox t f 2 ( x 2 ) )
\operatorname{prox}_{t f}\left(x_{1}, x_{2}\right)=\left(\operatorname{prox}_{t f_{1}}\left(x_{1}\right), \operatorname{prox}_{t f_{2}}\left(x_{2}\right)\right)
p r o x t f ( x 1 , x 2 ) = ( p r o x t f 1 ( x 1 ) , p r o x t f 2 ( x 2 ) ) [ A , − I ] [ x 1 , x 2 ] T = 0 [A,-I][x_1,x_2]^T=0 [ A , − I ] [ x 1 , x 2 ] T = 0
交替方向乘子法(Alternating Direction Method of Multipliers)也是一个很重要而且很受欢迎的算法，下一节还会详细讲，这里主要是看看他与 DR-splitting 的联系。
这里还是先给出结论：DR-splitting 中取 ρ k = 1 \rho_k=1 ρ k = 1 。我们先推导对偶问题上的 DR-splitting 迭代形式，然后再引出 ADMM 方法。
对可分离的凸优化问题( P ) min f 1 ( x 1 ) + f 2 ( x 2 ) s.t. A 1 x 1 + A 2 x 2 = b ( D ) max − b T z − f 1 ∗ ( − A 1 T z ) − f 2 ∗ ( − A 2 T z )
\begin{aligned}
(P)\min \quad& f_1(x_1)+f_2(x_2) \\
\text{s.t.} \quad& A_1x_1+A_2x_2=b \\
(D)\max \quad& -b^{T} z-f_{1}^{*}\left(-A_{1}^{T} z\right)-f_{2}^{*}\left(-A_{2}^{T} z\right)
\end{aligned}
( P ) min s.t. ( D ) max f 1 ( x 1 ) + f 2 ( x 2 ) A 1 x 1 + A 2 x 2 = b − b T z − f 1 ∗ ( − A 1 T z ) − f 2 ∗ ( − A 2 T z ) g ( z ) = b T z + f 1 ⋆ ( − A 1 T z ) , f ( z ) = f 2 ⋆ ( − A 2 T z ) g(z)=b^{T} z+f_{1}^{\star}\left(-A_{1}^{T} z\right), f(z)=f_{2}^{\star}\left(-A_{2}^{T} z\right) g ( z ) = b T z + f 1 ⋆ ( − A 1 T z ) , f ( z ) = f 2 ⋆ ( − A 2 T z ) u + = prox t g ( z + w ) , z + = prox t f ( u + − w ) , w + = w + z + − u +
u^{+}=\operatorname{prox}_{t g}(z+w), \quad z^{+}=\operatorname{prox}_{t f}\left(u^{+}-w\right), \quad w^{+}=w+z^{+}-u^{+}
u + = p r o x t g ( z + w ) , z + = p r o x t f ( u + − w ) , w + = w + z + − u + 第一步 ：他等价于计算x ^ 1 = argmin x 1 ( f 1 ( x 1 ) + z T ( A 1 x 1 − b ) + t 2 ∥ A 1 x 1 − b + w / t ∥ 2 2 ) u + = z + w + t ( A 1 x ^ 1 − b )
\begin{aligned}
\hat{x}_{1} &=\underset{x_{1}}{\operatorname{argmin}}\left(f_{1}\left(x_{1}\right)+z^{T}\left(A_{1} x_{1}-b\right)+\frac{t}{2}\left\|A_{1} x_{1}-b+w / t\right\|_{2}^{2}\right) \\
u^{+} &=z+w+t\left(A_{1} \hat{x}_{1}-b\right)
\end{aligned}
x ^ 1 u + = x 1 a r g m i n ( f 1 ( x 1 ) + z T ( A 1 x 1 − b ) + 2 t ∥ A 1 x 1 − b + w / t ∥ 2 2 ) = z + w + t ( A 1 x ^ 1 − b ) h ( z ) = g ⋆ ( z ) + f ⋆ ( − A T z ) h(z)=g^{\star}(z)+f^{\star}\left(-A^{T} z\right) h ( z ) = g ⋆ ( z ) + f ⋆ ( − A T z ) z + = prox t h ( z ) = z + t ( A x ^ − y ^ ) ( x ^ , y ^ ) = argmin x , y ( f ( x ) + g ( y ) + z T ( A x − y ) + t 2 ∥ A x − y ∥ 2 2 )
\begin{aligned}z^+&=\text{prox}_{th}(z) = z+t(A\hat{x}-\hat{y}) \\(\hat{x}, \hat{y})&=\underset{x, y}{\operatorname{argmin}}\left(f(x)+g(y)+z^{T}(A x-y)+\frac{t}{2}\|A x-y\|_{2}^{2}\right)\end{aligned}
z + ( x ^ , y ^ ) = prox t h ( z ) = z + t ( A x ^ − y ^ ) = x , y a r g m i n ( f ( x ) + g ( y ) + z T ( A x − y ) + 2 t ∥ A x − y ∥ 2 2 ) 第二步 ：与第一个式子是类似的，等价于x ^ 2 = argmin x 2 ( f 2 ( x 2 ) + z T A 2 x 2 + t 2 ∥ A 1 x ^ 1 + A 2 x 2 − b ∥ 2 2 z + = z + t ( A 1 x ^ 1 + A 2 x ^ 2 − b )
\begin{array}{l}\hat{x}_{2}=\underset{x_{2}}{\operatorname{argmin}}\left(f_{2}\left(x_{2}\right)+z^{T} A_{2} x_{2}+\frac{t}{2}\left\|A_{1} \hat{x}_{1}+A_{2} x_{2}-b\right\|_{2}^{2}\right. \\z^{+}=z+t\left(A_{1} \hat{x}_{1}+A_{2} \hat{x}_{2}-b\right)\end{array}
x ^ 2 = x 2 a r g m i n ( f 2 ( x 2 ) + z T A 2 x 2 + 2 t ∥ A 1 x ^ 1 + A 2 x 2 − b ∥ 2 2 z + = z + t ( A 1 x ^ 1 + A 2 x ^ 2 − b ) 第三步 ：w + = t A 2 x ^ 2 w^+=tA_2\hat{x}_2 w + = t A 2 x ^ 2
现在我们就可以引出 ADMM 方法了，他包括三个步骤x k + 1 , 1 = argmin x ~ 1 ( f 1 ( x ~ 1 ) + z k T A 1 x ~ 1 + t 2 ∥ A 1 x ~ 1 + A 2 x k , 2 − b ∥ 2 2 ) x k + 1 , 2 = argmin x ~ 2 ( f 2 ( x ~ 2 ) + z k T A 2 x ~ 2 + t 2 ∥ A 1 x k + 1 , 1 + A 2 x ~ 2 − b ∥ 2 2 ) z k + 1 = z k + t ( A 1 x k + 1 , 1 + A 2 x k + 1 , 2 − b )
\begin{aligned}x_{k+1,1}&=\underset{\tilde{x}_{1}}{\operatorname{argmin}}\left(f_{1}\left(\tilde{x}_{1}\right)+z_{k}^{T} A_{1} \tilde{x}_{1}+\frac{t}{2}\left\|A_{1} \tilde{x}_{1}+A_{2} x_{k, 2}-b\right\|_{2}^{2}\right) \\x_{k+1,2}&=\underset{\tilde{x}_{2}}{\operatorname{argmin}}\left(f_{2}\left(\tilde{x}_{2}\right)+z_{k}^{T} A_{2} \tilde{x}_{2}+\frac{t}{2}\left\|A_{1} x_{k+1,1}+A_{2} \tilde{x}_{2}-b\right\|_{2}^{2}\right) \\z_{k+1}&=z_{k}+t\left(A_{1} x_{k+1,1}+A_{2} x_{k+1,2}-b\right)\end{aligned}
x k + 1 , 1 x k + 1 , 2 z k + 1 = x ~ 1 a r g m i n ( f 1 ( x ~ 1 ) + z k T A 1 x ~ 1 + 2 t ∥ A 1 x ~ 1 + A 2 x k , 2 − b ∥ 2 2 ) = x ~ 2 a r g m i n ( f 2 ( x ~ 2 ) + z k T A 2 x ~ 2 + 2 t ∥ A 1 x k + 1 , 1 + A 2 x ~ 2 − b ∥ 2 2 ) = z k + t ( A 1 x k + 1 , 1 + A 2 x k + 1 , 2 − b ) x 1 , x 2 x_1,x_2 x 1 , x 2 ( x 1 , x 2 ) (x_1,x_2) ( x 1 , x 2 ) ( x k + 1 , 1 , x k + 1 , 2 ) = arg min x 1 , x 2 L t ( x 1 , x 2 , z k ) z k + 1 = z k + t ( A 1 x k + 1 , 1 + A 2 x k + 1 , 2 − b )
\begin{aligned}(x_{k+1,1},x_{k+1,2}) = \arg\min_{x_1,x_2} L_t(x_1,x_2,z_k) \\z_{k+1} = z_k + t\left(A_{1} x_{k+1,1}+A_{2} x_{k+1,2}-b\right)\end{aligned}
( x k + 1 , 1 , x k + 1 , 2 ) = arg x 1 , x 2 min L t ( x 1 , x 2 , z k ) z k + 1 = z k + t ( A 1 x k + 1 , 1 + A 2 x k + 1 , 2 − b ) x 1 x_1 x 1 x 2 x_2 x 2 x 1 x_1 x 1 ( d u a l P G ) x ^ = argmin x ( f ( x ) + z T A x ) y ^ = argmin y ( g ( y ) − z T y + t 2 ∥ A x ^ − y ∥ 2 2 ) ( A D M M ) x k + 1 , 1 = argmin x ~ 1 ( f 1 ( x ~ 1 ) + z k T A 1 x ~ 1 + t 2 ∥ A 1 x ~ 1 + A 2 x k , 2 − b ∥ 2 2 ) x k + 1 , 2 = argmin x ~ 2 ( f 2 ( x ~ 2 ) + z k T A 2 x ~ 2 + t 2 ∥ A 1 x k + 1 , 1 + A 2 x ~ 2 − b ∥ 2 2 )
\begin{aligned}
(dual\ PG)\hat{x} &=\underset{x}{\operatorname{argmin}}\left(f(x)+z^{T} A x\right) \\
\hat{y} &=\underset{y}{\operatorname{argmin}}\left(g(y)-z^{T} y+\frac{t}{2}\|A \hat{x}-y\|_{2}^{2}\right) \\
(ADMM) x_{k+1,1}&=\underset{\tilde{x}_{1}}{\operatorname{argmin}}\left(f_{1}\left(\tilde{x}_{1}\right)+z_{k}^{T} A_{1} \tilde{x}_{1}+\frac{t}{2}\left\|A_{1} \tilde{x}_{1}+A_{2} x_{k, 2}-b\right\|_{2}^{2}\right) \\
x_{k+1,2}&=\underset{\tilde{x}_{2}}{\operatorname{argmin}}\left(f_{2}\left(\tilde{x}_{2}\right)+z_{k}^{T} A_{2} \tilde{x}_{2}+\frac{t}{2}\left\|A_{1} x_{k+1,1}+A_{2} \tilde{x}_{2}-b\right\|_{2}^{2}\right)
\end{aligned}
( d u a l P G ) x ^ y ^ ( A D M M ) x k + 1 , 1 x k + 1 , 2 = x a r g m i n ( f ( x ) + z T A x ) = y a r g m i n ( g ( y ) − z T y + 2 t ∥ A x ^ − y ∥ 2 2 ) = x ~ 1 a r g m i n ( f 1 ( x ~ 1 ) + z k T A 1 x ~ 1 + 2 t ∥ A 1 x ~ 1 + A 2 x k , 2 − b ∥ 2 2 ) = x ~ 2 a r g m i n ( f 2 ( x ~ 2 ) + z k T A 2 x ~ 2 + 2 t ∥ A 1 x k + 1 , 1 + A 2 x ~ 2 − b ∥ 2 2 )
DR 方法可以看成是一个不动点迭代，因此要证明收敛性，我们需要证明以下两个结论：
y k y_k y k F ( y ) F(y) F ( y ) y ⋆ y^\star y ⋆ x k + 1 = prox f ( y k ) x_{k+1}=\text{prox}_f(y_k) x k + 1 = prox f ( y k ) x ⋆ = prox f ( y ⋆ ) x^\star=\text{prox}_f(y^\star) x ⋆ = prox f ( y ⋆ )
在证明收敛性之前，需要先定义两个函数F ( y ) = y + prox g ( 2 prox f ( y ) − y ) − prox f ( y ) G ( y ) = y − F ( y ) = prox f ( y ) − prox g ( 2 prox f ( y ) − y )
\begin{aligned}F(y) &=y+\operatorname{prox}_{g}\left(2 \operatorname{prox}_{f}(y)-y\right)-\operatorname{prox}_{f}(y) \\G(y) &=y-F(y) \\&=\operatorname{prox}_{f}(y)-\operatorname{prox}_{g}\left(2 \operatorname{prox}_{f}(y)-y\right)\end{aligned}
F ( y ) G ( y ) = y + p r o x g ( 2 p r o x f ( y ) − y ) − p r o x f ( y ) = y − F ( y ) = p r o x f ( y ) − p r o x g ( 2 p r o x f ( y ) − y ) ( F ( y ) − F ( y ^ ) ) T ( y − y ^ ) ≥ ∥ F ( y ) − F ( y ^ ) ∥ 2 2 for all y , y ^ ( G ( y ) − G ( y ^ ) ) T ( y − y ^ ) ≥ ∥ G ( y ) − G ( y ^ ) ∥ 2 2
\begin{aligned}(F(y)-F(\hat{y}))^{T}(y-\hat{y}) &\geq\|F(y)-F(\hat{y})\|_{2}^{2} \quad \text { for all } y, \hat{y} \\(G(y)-G(\hat{y}))^{T}(y-\hat{y}) &\geq\|G(y)-G(\hat{y})\|_{2}^{2}\end{aligned}
( F ( y ) − F ( y ^ ) ) T ( y − y ^ ) ( G ( y ) − G ( y ^ ) ) T ( y − y ^ ) ≥ ∥ F ( y ) − F ( y ^ ) ∥ 2 2 for all y , y ^ ≥ ∥ G ( y ) − G ( y ^ ) ∥ 2 2 证明 ：令 x = prox f ( y ) , x ^ = prox f ( y ^ ) x=\text{prox}_f(y),\hat{x}=\text{prox}_f(\hat{y}) x = prox f ( y ) , x ^ = prox f ( y ^ ) v = prox g ( 2 x − y ) , v ^ = prox g ( 2 x ^ − y ^ ) v=\operatorname{prox}_{g}(2 x-y), \quad \hat{v}=\operatorname{prox}_{g}(2 \hat{x}-\hat{y}) v = p r o x g ( 2 x − y ) , v ^ = p r o x g ( 2 x ^ − y ^ )
根据 F ( y ) = y + v − x , F ( y ^ ) = y ^ + v ^ − x ^ F(y)=y+v-x,F(\hat{y})=\hat{y}+\hat{v}-\hat{x} F ( y ) = y + v − x , F ( y ^ ) = y ^ + v ^ − x ^ ( F ( y ) − F ( y ^ ) ) T ( y − y ^ ) ≥ ( y + v − x − y ^ − v ^ + x ^ ) T ( y − y ^ ) − ( x − x ^ ) T ( y − y ^ ) + ∥ x − x ^ ∥ 2 2 = ( v − v ^ ) T ( y − y ^ ) + ∥ y − x − y ^ + x ^ ∥ 2 2 = ( v − v ^ ) T ( 2 x − y − 2 x ^ + y ^ ) − ∥ v − v ^ ∥ 2 2 + ∥ F ( y ) − F ( y ^ ) ∥ 2 2 ≥ ∥ F ( y ) − F ( y ^ ) ∥ 2 2
\begin{array}{l}(F(y)-F(\hat{y}))^{T}(y-\hat{y}) \\\quad \geq \quad(y+v-x-\hat{y}-\hat{v}+\hat{x})^{T}(y-\hat{y})-(x-\hat{x})^{T}(y-\hat{y})+\|x-\hat{x}\|_{2}^{2} \\\quad=(v-\hat{v})^{T}(y-\hat{y})+\|y-x-\hat{y}+\hat{x}\|_{2}^{2} \\\quad=(v-\hat{v})^{T}(2 x-y-2 \hat{x}+\hat{y})-\|v-\hat{v}\|_{2}^{2}+\|F(y)-F(\hat{y})\|_{2}^{2} \\\quad \geq\|F(y)-F(\hat{y})\|_{2}^{2}\end{array}
( F ( y ) − F ( y ^ ) ) T ( y − y ^ ) ≥ ( y + v − x − y ^ − v ^ + x ^ ) T ( y − y ^ ) − ( x − x ^ ) T ( y − y ^ ) + ∥ x − x ^ ∥ 2 2 = ( v − v ^ ) T ( y − y ^ ) + ∥ y − x − y ^ + x ^ ∥ 2 2 = ( v − v ^ ) T ( 2 x − y − 2 x ^ + y ^ ) − ∥ v − v ^ ∥ 2 2 + ∥ F ( y ) − F ( y ^ ) ∥ 2 2 ≥ ∥ F ( y ) − F ( y ^ ) ∥ 2 2 prox \text{prox} prox ( x − x ^ ) T ( y − y ^ ) ≥ ∥ x − x ^ ∥ 2 2 , ( 2 x − y − 2 x ^ + y ^ ) T ( v − v ^ ) ≥ ∥ v − v ^ ∥ 2 2
(x-\hat{x})^{T}(y-\hat{y}) \geq\|x-\hat{x}\|_{2}^{2}, \quad(2 x-y-2 \hat{x}+\hat{y})^{T}(v-\hat{v}) \geq\|v-\hat{v}\|_{2}^{2}
( x − x ^ ) T ( y − y ^ ) ≥ ∥ x − x ^ ∥ 2 2 , ( 2 x − y − 2 x ^ + y ^ ) T ( v − v ^ ) ≥ ∥ v − v ^ ∥ 2 2
然后我们就可以根据以下的不动点迭代方程证明前面提到的收敛性y k + 1 = ( 1 − ρ k ) y k + ρ k F ( y k ) = y k − ρ k G ( y k )
\begin{aligned}y_{k+1} &=\left(1-\rho_{k}\right) y_{k}+\rho_{k} F\left(y_{k}\right) \\&=y_{k}-\rho_{k} G\left(y_{k}\right)\end{aligned}
y k + 1 = ( 1 − ρ k ) y k + ρ k F ( y k ) = y k − ρ k G ( y k ) F F F 0 ∈ ∂ f ( x ) + ∂ g ( x ) 0\in\partial f(x)+\partial g(x) 0 ∈ ∂ f ( x ) + ∂ g ( x ) ρ k ∈ [ ρ min , ρ max ] , 0 < ρ min < ρ max < 2 \rho_k\in [\rho_{\min},\rho_{\max}],0<\rho_{\min}<\rho_{\max}<2 ρ k ∈ [ ρ min , ρ max ] , 0 < ρ min < ρ max < 2
证明 ：设 y ⋆ y^\star y ⋆ F ( y ) F(y) F ( y ) G ( y ) G(y) G ( y ) k k k ∥ y + − y ⋆ ∥ 2 2 − ∥ y − y ⋆ ∥ 2 2 = 2 ( y + − y ) T ( y − y ⋆ ) + ∥ y + − y ∥ 2 2 = − 2 ρ G ( y ) T ( y − y ⋆ ) + ρ 2 ∥ G ( y ) ∥ 2 2 ≤ − ρ ( 2 − ρ ) ∥ G ( y ) ) ∥ 2 2 ≤ − M ∥ G ( y ) ) ∥ 2 2
\begin{aligned}\left\|y^{+}-y^{\star}\right\|_{2}^{2}-\left\|y-y^{\star}\right\|_{2}^{2} &=2\left(y^{+}-y\right)^{T}\left(y-y^{\star}\right)+\left\|y^{+}-y\right\|_{2}^{2} \\&=-2 \rho G(y)^{T}\left(y-y^{\star}\right)+\rho^{2}\|G(y)\|_{2}^{2} \\&\leq-\rho(2-\rho) \| G(y)) \|_{2}^{2} \\&\leq-M \| G(y)) \|_{2}^{2}\end{aligned}
∥ ∥ y + − y ⋆ ∥ ∥ 2 2 − ∥ y − y ⋆ ∥ 2 2 = 2 ( y + − y ) T ( y − y ⋆ ) + ∥ ∥ y + − y ∥ ∥ 2 2 = − 2 ρ G ( y ) T ( y − y ⋆ ) + ρ 2 ∥ G ( y ) ∥ 2 2 ≤ − ρ ( 2 − ρ ) ∥ G ( y ) ) ∥ 2 2 ≤ − M ∥ G ( y ) ) ∥ 2 2 M = ρ min ( 2 − ρ max ) M=\rho_{\min}(2-\rho_{\max}) M = ρ min ( 2 − ρ max ) M ∑ k = 0 ∞ ∥ G ( y k ) ∥ 2 2 ≤ ∥ y 0 − y ⋆ ∥ 2 2 , ∥ G ( y ) ∥ 2 → 0
M \sum_{k=0}^{\infty}\left\|G\left(y_{k}\right)\right\|_{2}^{2} \leq\left\|y_{0}-y^{\star}\right\|_{2}^{2}, \quad \| G(y)\|_2\to 0
M k = 0 ∑ ∞ ∥ G ( y k ) ∥ 2 2 ≤ ∥ y 0 − y ⋆ ∥ 2 2 , ∥ G ( y ) ∥ 2 → 0 ∥ y k − y ⋆ ∥ 2 \| y_k-y^\star\|_2 ∥ y k − y ⋆ ∥ 2 y k y_k y k
由于 ∥ y k − y ⋆ ∥ 2 \| y_k-y^\star\|_2 ∥ y k − y ⋆ ∥ 2 lim k → ∞ ∥ y k − y ⋆ ∥ 2 \lim_{k\to \infty} \| y_k-y^\star\|_2 lim k → ∞ ∥ y k − y ⋆ ∥ 2 y k y_k y k
记 y ˉ k \bar{y}_k y ˉ k y ˉ \bar{y} y ˉ G G G 0 = lim k → ∞ G ( y ˉ k ) = G ( y ˉ ) 0=\lim _{k \rightarrow \infty} G\left(\bar{y}_{k}\right)=G(\bar{y}) 0 = lim k → ∞ G ( y ˉ k ) = G ( y ˉ ) y ˉ \bar{y} y ˉ G G G lim k → ∞ ∥ y k − y ˉ ∥ 2 \lim_{k\to \infty} \| y_k-\bar{y}\|_2 lim k → ∞ ∥ y k − y ˉ ∥ 2
接着需要证明唯一性，假设 u ˉ , v ˉ \bar{u},\bar{v} u ˉ , v ˉ lim k → ∞ ∥ y k − u ˉ ∥ 2 , lim k → ∞ ∥ y k − v ˉ ∥ 2 \lim_{k\to \infty} \| y_k-\bar{u}\|_2,\lim_{k\to \infty} \| y_k-\bar{v}\|_2 lim k → ∞ ∥ y k − u ˉ ∥ 2 , lim k → ∞ ∥ y k − v ˉ ∥ 2 ∥ u ˉ − v ˉ ∥ 2 = lim k → ∞ ∥ y k − u ˉ ∥ 2 = lim k → ∞ ∥ y k − v ˉ ∥ 2 = 0
\|\bar{u}-\bar{v}\|_{2}=\lim _{k \rightarrow \infty}\left\|y_{k}-\bar{u}\right\|_{2}=\lim _{k \rightarrow \infty}\left\|y_{k}-\bar{v}\right\|_{2}=0
∥ u ˉ − v ˉ ∥ 2 = k → ∞ lim ∥ y k − u ˉ ∥ 2 = k → ∞ lim ∥ y k − v ˉ ∥ 2 = 0
最后给我的博客打个广告，欢迎光临https://glooow1024.github.io/ https://glooow.gitee.io/
前面的一些博客链接如下凸优化专栏 凸优化学习笔记 1：Convex Sets 凸优化学习笔记 2：超平面分离定理 凸优化学习笔记 3：广义不等式 凸优化学习笔记 4：Convex Function 凸优化学习笔记 5：保凸变换 凸优化学习笔记 6：共轭函数 凸优化学习笔记 7：拟凸函数 Quasiconvex Function 凸优化学习笔记 8：对数凸函数 凸优化学习笔记 9：广义凸函数 凸优化学习笔记 10：凸优化问题 凸优化学习笔记 11：对偶原理 凸优化学习笔记 12：KKT条件 凸优化学习笔记 13：KKT条件 & 互补性条件 & 强对偶性 凸优化学习笔记 14：SDP Representablity 最优化方法 15：梯度方法 最优化方法 16：次梯度 最优化方法 17：次梯度下降法 最优化方法 18：近似点算子 Proximal Mapping 最优化方法 19：近似梯度下降 最优化方法 20：对偶近似点梯度下降法 最优化方法 21：加速近似梯度下降方法 最优化方法 22：近似点算法 PPA 最优化方法 23：算子分裂法 & ADMM 最优化方法 24：ADMM
