前面的章節基本上講完了凸優化相關的理論部分，在對偶原理以及 KKT 條件那裏我們已經體會到了理論之美！接下來我們就要進入求解算法的部分，這也是需要濃墨重彩的一部分，畢竟我們學習凸優化就是爲了解決實際當中的優化問題。我們今天首先要接觸的就是大名鼎鼎的梯度方法 。現在人工智能和人工神經網絡很火，經常可以聽到反向傳播，這實際上就是梯度下降方法的應用，他的思想其實很簡單，就是沿着函數梯度的反方向走就會使函數值不斷減小。x k + 1 = x k − t k ∇ f ( x k ) , k = 0 , 1 , . . .
x_{k+1}=x_{k}-t_k \nabla f(x_k),\quad k=0,1,...
x k + 1 = x k − t k ∇ f ( x k ) , k = 0 , 1 , . . .
下降方向怎麼選？∇ f ( x k ) \nabla f(x_k) ∇ f ( x k )
如果 f ( x ) f(x) f ( x )
步長 t k t_k t k
收斂速度怎麼樣呢？我怎麼才能知道是否達到精度要求呢？
…
前面講凸函數的時候我們提到了很多等價定義：Jensen’s 不等式、“降維打擊”、一階條件、二階條件。這裏我們主要關注其中兩個：
Jensen’s 不等式：f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta) y) \leq \theta f(x)+(1-\theta) f(y) f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y )
一階條件等價於梯度單調性 ：( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ 0 for all x , y ∈ dom f (\nabla f(x)-\nabla f(y))^{T}(x-y) \geq 0 \quad \text { for all } x, y \in \operatorname{dom} f ( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ 0 for all x , y ∈ d o m f
也就是說凸函數的梯度 ∇ f : R n → R n \nabla f: R^n\to R^n ∇ f : R n → R n 單調映射 。
函數 f f f ∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ ≤ L ∥ x − y ∥ for all x , y ∈ dom f
\|\nabla f(x)-\nabla f(y)\|_{*} \leq L\|x-y\| \quad \text { for all } x, y \in \operatorname{dom} f
∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ ≤ L ∥ x − y ∥ for all x , y ∈ d o m f L-smooth 。有了這個條件，我們可以推出很多個等價性質，這裏省略了證明過程
也就是說下面的式子都是等價的∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ ≤ L ∥ x − y ∥ for all x , y ∈ dom f
\|\nabla f(x)-\nabla f(y)\|_{*} \leq L\|x-y\| \quad \text { for all } x, y \in \operatorname{dom} f
∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ ≤ L ∥ x − y ∥ for all x , y ∈ d o m f
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≤ L ∥ x − y ∥ 2 for all x , y ∈ dom f
(\nabla f(x)-\nabla f(y))^{T}(x-y) \leq L\|x-y\|^{2} \quad \text { for all } x, y \in \operatorname{dom} f
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≤ L ∥ x − y ∥ 2 for all x , y ∈ d o m f
f ( y ) ≤ f ( x ) + ∇ f ( x ) T ( y − x ) + L 2 ∥ y − x ∥ 2 for all x , y ∈ dom f
f(y) \leq f(x)+\nabla f(x)^{T}(y-x)+\frac{L}{2}\|y-x\|^{2} \quad \text { for all } x, y \in \operatorname{dom} f
f ( y ) ≤ f ( x ) + ∇ f ( x ) T ( y − x ) + 2 L ∥ y − x ∥ 2 for all x , y ∈ d o m f
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ 1 L ∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ 2 for all x , y
(\nabla f(x)-\nabla f(y))^{T}(x-y) \geq \frac{1}{L}\|\nabla f(x)-\nabla f(y)\|_{*}^{2} \quad \text { for all } x, y
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ L 1 ∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ 2 for all x , y
g ( x ) = L 2 ∥ x ∥ 2 2 − f ( x ) is convex
g(x)=\frac{L}{2}\Vert x\Vert_2^2-f(x) \ \text{ is convex}
g ( x ) = 2 L ∥ x ∥ 2 2 − f ( x ) is convex
Remarks 1 ：
上面的第 3 個式子f ( y ) ≤ f ( x ) + ∇ f ( x ) T ( y − x ) + L 2 ∥ y − x ∥ 2 for all x , y ∈ dom f
f(y) \leq f(x)+\nabla f(x)^{T}(y-x)+\frac{L}{2}\Vert y-x\Vert^{2} \quad \text { for all } x, y \in \operatorname{dom} f
f ( y ) ≤ f ( x ) + ∇ f ( x ) T ( y − x ) + 2 L ∥ y − x ∥ 2 for all x , y ∈ d o m f 二次曲線 ，這個曲線是原始函數的 Quadratic upper bound
並且由這個式子可以推導出1 2 L ∥ ∇ f ( z ) ∥ ∗ 2 ≤ f ( z ) − f ( x ⋆ ) ≤ L 2 ∥ z − x ⋆ ∥ 2 for all z
\frac{1}{2 L}\Vert\nabla f(z)\Vert_{*}^{2} \leq f(z)-f\left(x^{\star}\right) \leq \frac{L}{2}\left\Vert z-x^{\star}\right\Vert^{2} \quad \text { for all } z
2 L 1 ∥ ∇ f ( z ) ∥ ∗ 2 ≤ f ( z ) − f ( x ⋆ ) ≤ 2 L ∥ z − x ⋆ ∥ 2 for all z L 2 ∥ z − x ⋆ ∥ 2 \frac{L}{2}\left\|z-x^{\star}\right\|^{2} 2 L ∥ z − x ⋆ ∥ 2 x ⋆ x^\star x ⋆ z z z f ( z ) f(z) f ( z ) 1 2 L ∥ ∇ f ( z ) ∥ ∗ 2 \frac{1}{2 L}\|\nabla f(z)\|_{*}^{2} 2 L 1 ∥ ∇ f ( z ) ∥ ∗ 2
Remarks 2 ：
上面的最後一個式子( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ 1 L ∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ 2 for all x , y
(\nabla f(x)-\nabla f(y))^{T}(x-y) \geq \frac{1}{L}\|\nabla f(x)-\nabla f(y)\|_{*}^{2} \quad \text { for all } x, y
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ L 1 ∥ ∇ f ( x ) − ∇ f ( y ) ∥ ∗ 2 for all x , y ∇ f \nabla f ∇ f co-coercivity 性質。（這其實有點像 ∇ f \nabla f ∇ f ∇ f \nabla f ∇ f
滿足如下性質的函數被稱爲 **m-強凸(m-strongly convex)**的f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) − m 2 θ ( 1 − θ ) ∥ x − y ∥ 2 for all x , y ∈ dom f , θ ∈ [ 0 , 1 ]
f(\theta x+(1-\theta) y) \leq \theta f(x)+(1-\theta) f(y)-\frac{m}{2} \theta(1-\theta)\|x-y\|^{2} \quad \text { for all } x, y\in\text{dom}f,\theta\in[0,1]
f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) − 2 m θ ( 1 − θ ) ∥ x − y ∥ 2 for all x , y ∈ dom f , θ ∈ [ 0 , 1 ]
類似上面的 L-smooth 性質，我們課可以得到下面幾個式子是等價 的f is m-strongly convex
f \text{ is m-strongly convex}
f is m-strongly convex
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ m ∥ x − y ∥ 2 for all x , y ∈ dom f
(\nabla f(x)-\nabla f(y))^{T}(x-y) \geq m\|x-y\|^{2} \quad \text { for all } x, y \in \operatorname{dom} f
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ m ∥ x − y ∥ 2 for all x , y ∈ d o m f
f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) + m 2 ∥ y − x ∥ 2 for all x , y ∈ dom f
f(y) \geq f(x)+\nabla f(x)^{T}(y-x)+\frac{m}{2}\|y-x\|^{2} \quad \text { for all } x, y \in \operatorname{dom} f
f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) + 2 m ∥ y − x ∥ 2 for all x , y ∈ d o m f
g ( x ) = f ( x ) − m 2 ∥ x ∥ 2 is convex
g(x) = f(x)-\frac{m}{2}\Vert x\Vert^2 \ \text{ is convex}
g ( x ) = f ( x ) − 2 m ∥ x ∥ 2 is convex
注意上面第3個式子不等號右遍實際上又定義了一個二次曲線，這個二次曲線是原函數的下界。與前面的二次上界類比可以得到
Quadratic lower bound
Quadratic upper bound
f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) + m 2 ∥ y − x ∥ 2 f(y) \geq f(x)+\nabla f(x)^{T}(y-x)+\frac{m}{2}\Vert y-x\Vert^{2} f ( y ) ≥ f ( x ) + ∇ f ( x ) T ( y − x ) + 2 m ∥ y − x ∥ 2 f ( y ) ≤ f ( x ) + ∇ f ( x ) T ( y − x ) + L 2 ∥ y − x ∥ 2 f(y) \leq f(x)+\nabla f(x)^{T}(y-x)+\frac{L}{2}\Vert y-x\Vert^{2} f ( y ) ≤ f ( x ) + ∇ f ( x ) T ( y − x ) + 2 L ∥ y − x ∥ 2
⟹ m 2 ∥ z − x ⋆ ∥ 2 ≤ f ( z ) − f ( x ⋆ ) ≤ 1 2 m ∥ ∇ f ( z ) ∥ ∗ 2 \Longrightarrow \frac{m}{2}\left\Vert z-x^{\star}\right\Vert^{2} \leq f(z)-f\left(x^{\star}\right) \leq \frac{1}{2 m}\Vert\nabla f(z)\Vert_{*}^{2} ⟹ 2 m ∥ z − x ⋆ ∥ 2 ≤ f ( z ) − f ( x ⋆ ) ≤ 2 m 1 ∥ ∇ f ( z ) ∥ ∗ 2 ⟹ 1 2 L ∥ ∇ f ( z ) ∥ ∗ 2 ≤ f ( z ) − f ( x ⋆ ) ≤ L 2 ∥ z − x ⋆ ∥ 2 \Longrightarrow \frac{1}{2 L}\Vert\nabla f(z)\Vert_{*}^{2} \leq f(z)-f\left(x^{\star}\right) \leq \frac{L}{2}\left\Vert z-x^{\star}\right\Vert^{2} ⟹ 2 L 1 ∥ ∇ f ( z ) ∥ ∗ 2 ≤ f ( z ) − f ( x ⋆ ) ≤ 2 L ∥ z − x ⋆ ∥ 2
例子 f f f
函數 h ( x ) = f ( x ) − m 2 ∥ x ∥ 2 h(x)=f(x)-\frac{m}{2}\Vert x\Vert^2 h ( x ) = f ( x ) − 2 m ∥ x ∥ 2 (L-m)-smooth 的
函數 h h h
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ m L m + L ∥ x − y ∥ 2 2 + 1 m + L ∥ ∇ f ( x ) − ∇ f ( y ) ∥ 2 2 for all x , y ∈ dom f
(\nabla f(x)-\nabla f(y))^{T}(x-y) \geq \frac{m L}{m+L}\|x-y\|_{2}^{2}+\frac{1}{m+L}\|\nabla f(x)-\nabla f(y)\|_{2}^{2} \quad \text { for all } x, y \in \operatorname{dom} f
( ∇ f ( x ) − ∇ f ( y ) ) T ( x − y ) ≥ m + L m L ∥ x − y ∥ 2 2 + m + L 1 ∥ ∇ f ( x ) − ∇ f ( y ) ∥ 2 2 for all x , y ∈ d o m f
下面給出一些常見梯度下降方法的分析。先回顧一下梯度方法的一般表達式x k + 1 = x k − t k ∇ f ( x k )
x_{k+1}=x_{k}-t_k \nabla f(x_k)
x k + 1 = x k − t k ∇ f ( x k )
f f f dom f = R n \text{dom}f=R^n dom f = R n ∇ f \nabla f ∇ f 最優解有限且可取
固定步長爲 t t t x + = x − t ∇ f ( x ) x^+=x-t\nabla f(x) x + = x − t ∇ f ( x ) f ( x − t ∇ f ( x ) ) ≤ f ( x ) − t ( 1 − L t 2 ) ∥ ∇ f ( x ) ∥ 2 2
f(x-t \nabla f(x)) \leq f(x)-t\left(1-\frac{L t}{2}\right)\|\nabla f(x)\|_{2}^{2}
f ( x − t ∇ f ( x ) ) ≤ f ( x ) − t ( 1 − 2 L t ) ∥ ∇ f ( x ) ∥ 2 2 0 < t ≤ 1 / L 0 < t \leq 1/L 0 < t ≤ 1 / L f ( x + ) ≤ f ( x ) − t 2 ∥ ∇ f ( x ) ∥ 2 2
f\left(x^{+}\right) \leq f(x)-\frac{t}{2}\|\nabla f(x)\|_{2}^{2}
f ( x + ) ≤ f ( x ) − 2 t ∥ ∇ f ( x ) ∥ 2 2 t t t 函數值總是在不斷減小 的。從上面的式子結合凸函數性質我們還可以得到f ( x + ) − f ⋆ ≤ ∇ f ( x ) T ( x − x ⋆ ) − t 2 ∥ ∇ f ( x ) ∥ 2 2 = 1 2 t ( ∥ x − x ⋆ ∥ 2 2 − ∥ x − x ⋆ − t ∇ f ( x ) ∥ 2 2 ) = 1 2 t ( ∥ x − x ⋆ ∥ 2 2 − ∥ x + − x ⋆ ∥ 2 2 )
\begin{aligned}
f\left(x^{+}\right)-f^{\star} & \leq \nabla f(x)^{T}\left(x-x^{\star}\right)-\frac{t}{2}\|\nabla f(x)\|_{2}^{2} \\
&=\frac{1}{2 t}\left(\left\|x-x^{\star}\right\|_{2}^{2}-\left\|x-x^{\star}-t \nabla f(x)\right\|_{2}^{2}\right) \\
&=\frac{1}{2 t}\left(\left\|x-x^{\star}\right\|_{2}^{2}-\left\|x^{+}-x^{\star}\right\|_{2}^{2}\right)
\end{aligned}
f ( x + ) − f ⋆ ≤ ∇ f ( x ) T ( x − x ⋆ ) − 2 t ∥ ∇ f ( x ) ∥ 2 2 = 2 t 1 ( ∥ x − x ⋆ ∥ 2 2 − ∥ x − x ⋆ − t ∇ f ( x ) ∥ 2 2 ) = 2 t 1 ( ∥ x − x ⋆ ∥ 2 2 − ∥ ∥ x + − x ⋆ ∥ ∥ 2 2 ) 到最優點 x ⋆ x^\star x ⋆ 。那麼可以得到下面的式子∑ i = 1 k ( f ( x i ) − f ⋆ ) ≤ 1 2 t ∑ i = 1 k ( ∥ x i − 1 − x ⋆ ∥ 2 2 − ∥ x i − x ⋆ ∥ 2 2 ) = 1 2 t ( ∥ x 0 − x ⋆ ∥ 2 2 − ∥ x k − x ⋆ ∥ 2 2 ) ≤ 1 2 t ∥ x 0 − x ⋆ ∥ 2 2 ⟹ f ( x k ) − f ⋆ ≤ 1 k ∑ i = 1 k ( f ( x i ) − f ⋆ ) ≤ 1 2 k t ∥ x 0 − x ⋆ ∥ 2 2
\begin{aligned}
\sum_{i=1}^{k}\left(f\left(x_{i}\right)-f^{\star}\right) & \leq \frac{1}{2 t} \sum_{i=1}^{k}\left(\left\|x_{i-1}-x^{\star}\right\|_{2}^{2}-\left\|x_{i}-x^{\star}\right\|_{2}^{2}\right) \\
&=\frac{1}{2 t}\left(\left\|x_{0}-x^{\star}\right\|_{2}^{2}-\left\|x_{k}-x^{\star}\right\|_{2}^{2}\right) \\
& \leq \frac{1}{2 t}\left\|x_{0}-x^{\star}\right\|_{2}^{2}
\end{aligned} \\
\Longrightarrow f(x_k)-f^\star\leq\frac{1}{k}\sum_{i=1}^{k}\left(f\left(x_{i}\right)-f^{\star}\right) \leq \frac{1}{2 kt}\left\|x_{0}-x^{\star}\right\|_{2}^{2}
i = 1 ∑ k ( f ( x i ) − f ⋆ ) ≤ 2 t 1 i = 1 ∑ k ( ∥ x i − 1 − x ⋆ ∥ 2 2 − ∥ x i − x ⋆ ∥ 2 2 ) = 2 t 1 ( ∥ x 0 − x ⋆ ∥ 2 2 − ∥ x k − x ⋆ ∥ 2 2 ) ≤ 2 t 1 ∥ x 0 − x ⋆ ∥ 2 2 ⟹ f ( x k ) − f ⋆ ≤ k 1 i = 1 ∑ k ( f ( x i ) − f ⋆ ) ≤ 2 k t 1 ∥ x 0 − x ⋆ ∥ 2 2
f ( x k + 1 ) < f ( x k ) f(x_{k+1}) < f(x_k) f ( x k + 1 ) < f ( x k ) ∥ x k + 1 − x ⋆ ∥ < ∥ x k − x ⋆ ∥ \Vert x_{k+1}-x^\star\Vert < \Vert x_{k}-x^\star\Vert ∥ x k + 1 − x ⋆ ∥ < ∥ x k − x ⋆ ∥ f ( x k ) − f ⋆ ≤ 1 2 k t ∥ x 0 − x ⋆ ∥ 2 2 f(x_k)-f^\star\leq \frac{1}{2 kt}\left\|x_{0}-x^{\star}\right\|_{2}^{2} f ( x k ) − f ⋆ ≤ 2 k t 1 ∥ x 0 − x ⋆ ∥ 2 2 f ( x k ) − f ⋆ ≤ ϵ f(x_k)-f^\star \leq \epsilon f ( x k ) − f ⋆ ≤ ϵ O ( 1 / ϵ ) O(1/\epsilon) O ( 1 / ϵ )
線搜索就是每步都要計算合適的步長，計算方法爲不斷地迭代 t k : = β t k , 0 < β < 1 t_k:=\beta t_k,0<\beta<1 t k : = β t k , 0 < β < 1 t k t_k t k f ( x k − t k ∇ f ( x k ) ) < f ( x k ) − α t k ∥ ∇ f ( x k ) ∥ 2 2
f\left(x_{k}-t_{k} \nabla f\left(x_{k}\right)\right)<f\left(x_{k}\right)-\alpha t_{k}\left\|\nabla f\left(x_{k}\right)\right\|_{2}^{2}
f ( x k − t k ∇ f ( x k ) ) < f ( x k ) − α t k ∥ ∇ f ( x k ) ∥ 2 2 t k t_k t k t k = β t k t_k=\beta t_k t k = β t k f ( x k + 1 ) < f ( x k ) f(x_{k+1})<f(x_k) f ( x k + 1 ) < f ( x k ) t k t_k t k t k t_k t k
主要到上面的式子中有一個參數 α \alpha α α \alpha α t k t_k t k α = 1 / 2 \alpha=1/2 α = 1 / 2 t = 1 / L t=1/L t = 1 / L t k t_k t k
另一方面爲了保證線搜索在有限步能夠終止，還需要滿足 t k ≥ t m i n = min { t ^ , β / L } t_k\ge t_{min} =\min\{\hat{t},\beta/L\} t k ≥ t m i n = min { t ^ , β / L } t ^ \hat{t} t ^
那麼線搜索的收斂性怎麼樣呢？首先根據線搜索的定義一定有f ( x i + 1 ) ≤ f ( x i ) − t i 2 ∥ ∇ f ( x i ) ∥ 2 2 ≤ f ⋆ + ∇ f ( x i ) T ( x i − x ⋆ ) − t i 2 ∥ ∇ f ( x i ) ∥ 2 2 = f ⋆ + 1 2 t i ( ∥ x i − x ⋆ ∥ 2 2 − ∥ x i + 1 − x ⋆ ∥ 2 2 )
\begin{aligned}
f\left(x_{i+1}\right) & \leq f\left(x_{i}\right)-\frac{t_{i}}{2}\left\|\nabla f\left(x_{i}\right)\right\|_{2}^{2} \\
& \leq f^{\star}+\nabla f\left(x_{i}\right)^{T}\left(x_{i}-x^{\star}\right)-\frac{t_{i}}{2}\left\|\nabla f\left(x_{i}\right)\right\|_{2}^{2} \\
&=f^{\star}+\frac{1}{2 t_{i}}\left(\left\|x_{i}-x^{\star}\right\|_{2}^{2}-\left\|x_{i+1}-x^{\star}\right\|_{2}^{2}\right)
\end{aligned}
f ( x i + 1 ) ≤ f ( x i ) − 2 t i ∥ ∇ f ( x i ) ∥ 2 2 ≤ f ⋆ + ∇ f ( x i ) T ( x i − x ⋆ ) − 2 t i ∥ ∇ f ( x i ) ∥ 2 2 = f ⋆ + 2 t i 1 ( ∥ x i − x ⋆ ∥ 2 2 − ∥ x i + 1 − x ⋆ ∥ 2 2 ) f ( x i + 1 ) < f ( x i ) , ∥ x i − x ⋆ ∥ 2 > ∥ x i + 1 − x ⋆ ∥ 2 f(x_{i+1})<f(x_i),\left\|x_{i}-x^{\star}\right\|_{2}>\left\|x_{i+1}-x^{\star}\right\|_{2} f ( x i + 1 ) < f ( x i ) , ∥ x i − x ⋆ ∥ 2 > ∥ x i + 1 − x ⋆ ∥ 2 f ( x k ) − f ⋆ ≤ 1 k ∑ i = 1 k ( f ( x i ) − f ⋆ ) ≤ 1 2 k t m i n ∥ x 0 − x ⋆ ∥ 2 2
f(x_k)-f^\star\leq\frac{1}{k}\sum_{i=1}^{k}\left(f\left(x_{i}\right)-f^{\star}\right) \leq \frac{1}{2 kt_{min}}\left\|x_{0}-x^{\star}\right\|_{2}^{2}
f ( x k ) − f ⋆ ≤ k 1 i = 1 ∑ k ( f ( x i ) − f ⋆ ) ≤ 2 k t m i n 1 ∥ x 0 − x ⋆ ∥ 2 2
f ( x i + 1 ) < f ( x i ) f(x_{i+1})<f(x_i) f ( x i + 1 ) < f ( x i ) ∥ x i − x ⋆ ∥ 2 > ∥ x i + 1 − x ⋆ ∥ 2 \left\|x_{i}-x^{\star}\right\|_{2}>\left\|x_{i+1}-x^{\star}\right\|_{2} ∥ x i − x ⋆ ∥ 2 > ∥ x i + 1 − x ⋆ ∥ 2 f ( x k ) − f ⋆ ≤ 1 2 k t m i n ∥ x 0 − x ⋆ ∥ 2 2 f(x_k)-f^\star\leq \frac{1}{2 kt_{min}}\left\|x_{0}-x^{\star}\right\|_{2}^{2} f ( x k ) − f ⋆ ≤ 2 k t m i n 1 ∥ x 0 − x ⋆ ∥ 2 2
所以線搜索實際上並不能提高收斂速度的階，他與固定步長的方法都是 O ( 1 / k ) O(1/k) O ( 1 / k ) sublinear 收斂 。
不管是固定步長還是線搜索，前面的方法都是一階方法，即x k + 1 ∈ x 0 + span { ∇ f ( x 0 ) , ∇ f ( x 1 ) , … , ∇ f ( x k ) }
x_{k+1}\in x_{0}+\operatorname{span}\left\{\nabla f\left(x_{0}\right), \nabla f\left(x_{1}\right), \ldots, \nabla f\left(x_{k}\right)\right\}
x k + 1 ∈ x 0 + s p a n { ∇ f ( x 0 ) , ∇ f ( x 1 ) , … , ∇ f ( x k ) }
定理(Nesterov) ： for every integer k ≤ ( n − 1 ) / 2 k ≤ (n−1)/2 k ≤ ( n − 1 ) / 2 x 0 x_0 x 0 f ( x k ) − f ⋆ ≥ 3 32 L ∥ x 0 − x ⋆ ∥ 2 2 ( k + 1 ) 2
f\left(x_{k}\right)-f^{\star} \geq \frac{3}{32} \frac{L\left\|x_{0}-x^{\star}\right\|_{2}^{2}}{(k+1)^{2}}
f ( x k ) − f ⋆ ≥ 3 2 3 ( k + 1 ) 2 L ∥ x 0 − x ⋆ ∥ 2 2 O ( 1 / k 2 ) O(1/k^2) O ( 1 / k 2 )
對於強凸函數，即使採用固定步長的梯度方法，也可以得到線性收斂速度 ！這就是強凸性帶來的好處。
考慮 0 < t < 2 / ( m + L ) 0<t<2/(m+L) 0 < t < 2 / ( m + L ) ∥ x + − x ⋆ ∥ 2 2 = ∥ x − t ∇ f ( x ) − x ⋆ ∥ 2 2 = ∥ x − x ⋆ ∥ 2 2 − 2 t ∇ f ( x ) T ( x − x ⋆ ) + t 2 ∥ ∇ f ( x ) ∥ 2 2 ≤ ( 1 − t 2 m L m + L ) ∥ x − x ⋆ ∥ 2 2 + t ( t − 2 m + L ) ∥ ∇ f ( x ) ∥ 2 2 ≤ ( 1 − t 2 m L m + L ) ∥ x − x ⋆ ∥ 2 2
\begin{aligned}
\left\|x^{+}-x^{\star}\right\|_{2}^{2} &=\left\|x-t \nabla f(x)-x^{\star}\right\|_{2}^{2} \\
&=\left\|x-x^{\star}\right\|_{2}^{2}-2 t \nabla f(x)^{T}\left(x-x^{\star}\right)+t^{2}\|\nabla f(x)\|_{2}^{2} \\
& \leq\left(1-t \frac{2 m L}{m+L}\right)\left\|x-x^{\star}\right\|_{2}^{2}+t\left(t-\frac{2}{m+L}\right)\|\nabla f(x)\|_{2}^{2} \\
& \leq\left(1-t \frac{2 m L}{m+L}\right)\left\|x-x^{\star}\right\|_{2}^{2}
\end{aligned}
∥ ∥ x + − x ⋆ ∥ ∥ 2 2 = ∥ x − t ∇ f ( x ) − x ⋆ ∥ 2 2 = ∥ x − x ⋆ ∥ 2 2 − 2 t ∇ f ( x ) T ( x − x ⋆ ) + t 2 ∥ ∇ f ( x ) ∥ 2 2 ≤ ( 1 − t m + L 2 m L ) ∥ x − x ⋆ ∥ 2 2 + t ( t − m + L 2 ) ∥ ∇ f ( x ) ∥ 2 2 ≤ ( 1 − t m + L 2 m L ) ∥ x − x ⋆ ∥ 2 2 ∥ x k − x ⋆ ∥ 2 2 ≤ c k ∥ x 0 − x ⋆ ∥ 2 2 , c = 1 − t 2 m L m + L f ( x k ) − f ⋆ ≤ L 2 ∥ x k − x ⋆ ∥ 2 2 ≤ c k L 2 ∥ x 0 − x ⋆ ∥ 2 2
\left\|x_{k}-x^{\star}\right\|_{2}^{2} \leq c^{k}\left\|x_{0}-x^{\star}\right\|_{2}^{2}, \quad c=1-t \frac{2 m L}{m+L} \\
f\left(x_{k}\right)-f^{\star} \leq \frac{L}{2}\left\|x_{k}-x^{\star}\right\|_{2}^{2} \leq \frac{c^{k} L}{2}\left\|x_{0}-x^{\star}\right\|_{2}^{2}
∥ x k − x ⋆ ∥ 2 2 ≤ c k ∥ x 0 − x ⋆ ∥ 2 2 , c = 1 − t m + L 2 m L f ( x k ) − f ⋆ ≤ 2 L ∥ x k − x ⋆ ∥ 2 2 ≤ 2 c k L ∥ x 0 − x ⋆ ∥ 2 2 f ( x k ) − f ⋆ ≤ ϵ f(x_k)-f^\star \leq \epsilon f ( x k ) − f ⋆ ≤ ϵ O ( log ( 1 / ϵ ) ) O(\log(1/\epsilon)) O ( log ( 1 / ϵ ) )
Barzilai-Borwein (BB) method 也是梯度下降方法的一種，他主要是通過近似牛頓方法來實現更快的收斂速度，同時避免計算二階導數帶來的計算複雜度。
如果我們記 g ( k ) = ∇ f ( x ( k ) ) and F ( k ) = ∇ 2 f ( x ( k ) ) \boldsymbol{g}^{(k)}=\nabla f\left(\boldsymbol{x}^{(k)}\right) \text { and } \boldsymbol{F}^{(k)}=\nabla^{2} f\left(\boldsymbol{x}^{(k)}\right) g ( k ) = ∇ f ( x ( k ) ) and F ( k ) = ∇ 2 f ( x ( k ) ) 一階方法 就是 x ( k + 1 ) = x ( k ) − α k g ( k ) \boldsymbol{x}^{(k+1)}=\boldsymbol{x}^{(k)}-\alpha_{k} \boldsymbol{g}^{(k)} x ( k + 1 ) = x ( k ) − α k g ( k ) α k \alpha_k α k 牛頓方法 就是 x ( k + 1 ) = x ( k ) − ( F ( k ) ) − 1 g ( k ) \boldsymbol{x}^{(k+1)}=\boldsymbol{x}^{(k)}-\left(\boldsymbol{F}^{(k)}\right)^{-1} \boldsymbol{g}^{(k)} x ( k + 1 ) = x ( k ) − ( F ( k ) ) − 1 g ( k ) BB方法 就是用 α k g ( k ) \alpha_{k} \boldsymbol{g}^{(k)} α k g ( k ) ( F ( k ) ) − 1 g ( k ) \left(\boldsymbol{F}^{(k)}\right)^{-1} \boldsymbol{g}^{(k)} ( F ( k ) ) − 1 g ( k )
怎麼近似呢？假如定義 s ( k − 1 ) : = x ( k ) − x ( k − 1 ) and y ( k − 1 ) : = g ( k ) − g ( k − 1 ) s^{(k-1)}:=x^{(k)}-x^{(k-1)} \text { and } y^{(k-1)}:=g^{(k)}-g^{(k-1)} s ( k − 1 ) : = x ( k ) − x ( k − 1 ) and y ( k − 1 ) : = g ( k ) − g ( k − 1 ) F ( k ) s ( k − 1 ) = y ( k − 1 )
\boldsymbol{F}^{(k)}s^{(k-1)}=y^{(k-1)}
F ( k ) s ( k − 1 ) = y ( k − 1 ) ( α k I ) − 1 (\alpha_k I)^{-1} ( α k I ) − 1 F ( k ) \boldsymbol{F}^{(k)} F ( k ) ( α k I ) − 1 s ( k − 1 ) = y ( k − 1 )
(\alpha_k I)^{-1}s^{(k-1)}=y^{(k-1)}
( α k I ) − 1 s ( k − 1 ) = y ( k − 1 ) α k − 1 = arg min β 1 2 ∥ s ( k − 1 ) β − y ( k − 1 ) ∥ 2 ⟹ α k 1 = ( s ( k − 1 ) ) T s ( k − 1 ) ( s ( k − 1 ) ) T y ( k − 1 ) α k = arg min α 1 2 ∥ s ( k − 1 ) − y ( k − 1 ) α ∥ 2 ⟹ α k 2 = ( s ( k − 1 ) ) T y ( k − 1 ) ( y ( k − 1 ) ) T y ( k − 1 )
\alpha_{k}^{-1}=\underset{\beta}{\arg \min } \frac{1}{2}\left\|s^{(k-1)} \beta-\boldsymbol{y}^{(k-1)}\right\|^{2} \Longrightarrow \alpha_{k}^{1}=\frac{\left(s^{(k-1)}\right)^{T} s^{(k-1)}}{\left(s^{(k-1)}\right)^{T} \boldsymbol{y}^{(k-1)}} \\\alpha_{k}=\underset{\alpha}{\arg \min } \frac{1}{2}\left\|s^{(k-1)}-\boldsymbol{y}^{(k-1)} \alpha\right\|^{2} \Longrightarrow \alpha_{k}^{2}=\frac{\left(\boldsymbol{s}^{(k-1)}\right)^{T} \boldsymbol{y}^{(k-1)}}{\left(\boldsymbol{y}^{(k-1)}\right)^{T} \boldsymbol{y}^{(k-1)}}
α k − 1 = β arg min 2 1 ∥ ∥ ∥ s ( k − 1 ) β − y ( k − 1 ) ∥ ∥ ∥ 2 ⟹ α k 1 = ( s ( k − 1 ) ) T y ( k − 1 ) ( s ( k − 1 ) ) T s ( k − 1 ) α k = α arg min 2 1 ∥ ∥ ∥ s ( k − 1 ) − y ( k − 1 ) α ∥ ∥ ∥ 2 ⟹ α k 2 = ( y ( k − 1 ) ) T y ( k − 1 ) ( s ( k − 1 ) ) T y ( k − 1 ) α k 1 \alpha_k^1 α k 1 ( s ( k − 1 ) ) T y ( k − 1 ) \left(s^{(k-1)}\right)^{T} \boldsymbol{y}^{(k-1)} ( s ( k − 1 ) ) T y ( k − 1 ) α k 2 \alpha_k^2 α k 2
BB方法主要有以下幾個特點：
幾乎不需要額外的計算量，但是往往會帶來極大的性能增益；
實際應用中這兩個表達式用哪個都可以，甚至還可以交換使用，用哪個更好一般與具體的問題有關；
收斂性很難證明，沒有收斂性的保證。比如下面的例子，他甚至不是單調下降的。
https://glooow1024.github.io/ https://glooow.gitee.io/
前面的一些博客鏈接如下凸優化專欄 凸優化學習筆記 1：Convex Sets 凸優化學習筆記 2：超平面分離定理 凸優化學習筆記 3：廣義不等式 凸優化學習筆記 4：Convex Function 凸優化學習筆記 5：保凸變換 凸優化學習筆記 6：共軛函數 凸優化學習筆記 7：擬凸函數 Quasiconvex Function 凸優化學習筆記 8：對數凸函數 凸優化學習筆記 9：廣義凸函數 凸優化學習筆記 10：凸優化問題 凸優化學習筆記 11：對偶原理 凸優化學習筆記 12：KKT條件 凸優化學習筆記 13：KKT條件 & 互補性條件 & 強對偶性 凸優化學習筆記 14：SDP Representablity 凸優化學習筆記 15：梯度方法
