(凸優化理論學習筆記2017/3/17）Theory of Convex Optimeization for Machine Learning(Sebatien Bubeck)

Chapter 5: Beyond the black-box model

• Section5.1: propose a first order method with a 1/t^2 convergence rate, despite the non-smoothness
• Section5.2: the function is the maximum of smooth functions
• Section5.3: a concise description of Interior Point Methods

Section 5.1: Sum of a smooth and a simple non-smooth term

• the problem:
  f is convex and beta-smooth, and g is convex.

• ISTA(Iterative Shrinkage-Thresholding Algorthm)

  1. 根據Gradient Descent on the smooth function f
     xt+1的表達式
  2. 結合這個問題minimize f+g得到xt+1的表達式
     這個就是ISTA算法的迭代式。
  3. 查閱論文可得到證明此算法的收斂率（函數convex並且smooth，收斂率爲1/t, 函數只convex時，收斂率爲1/根號t)
     
  4. 這個算法需要假設g is simple, 因爲計算xt+1本身是一個凸優化問題，當假設g is simple時，計算xt+1可以通過解決n個在一維空間上的凸優化問題。

• FISTA（Fast ISTA）

  1. 結合Nesterov’s Accelerated Gradient Descent得到對應的
     
  2. 收斂率（證明查詢相關論文）
     

• CMD and RDA

  1. ISTA and FISTA assume smoothness in the Euclidean metric.
  2. CMD and RDA use these ideas in a non-Euclidean metric

• 總結

  • 當函數可以分解爲sum of f and g（f is convex and smooth, g is convex)時，這個凸優化問題的收斂率比只知道函數爲凸時的收斂率小。

• 未完待續