凸優化筆記(1) 引言

#凸優化筆記(1) 引言

1. 引言

1.1 數學優化

優化問題可以寫成如下形式
$minimize\ \ \ f_0(x) \\ subject \ to\ \ f_i(x)\leq b_i\ \ \ i=0,...,m$

向量$x$稱之爲優化向量，$f_0$ 是目標函數，$f_i$是約束函數，問題在於滿足約束條件下尋找最優解

一般的，如果目標函數和約束函數是線性函數的話，則是線性規劃問題，即
$f_i(\alpha x+\beta y) = \alpha f_i(x)+\beta f_i(y)$
凸優化即討論約束函數和目標函數是凸函數的優化問題，即
$f_i(\alpha x+\beta y)\leq \alpha f_i(x)+\beta f_i(y)$
可以將凸優化看成是線性規劃的擴展

1.1.1 應用

比如投資組合優化等問題，再尋求效益最大化且風險最小化的時候就是應用

大量涉及決策的問題大多數可以轉化爲數學優化的問題

1.1.2 求解優化問題

優化問題的求解並不簡單，但有些特殊的優化問題可以有效地求解
有兩類優化問題廣爲人知：

• 最小二乘問題
• 線性規劃問題

凸優化問題也是可以被有效求解的

1.2 最小二乘和線性規劃

1.2.1 最小二乘問題

最小二乘問題沒有約束條件，形式如下

求解最小二乘問題
上述式子的求解可以簡化爲求解一組線性方程，由$Ax-b=0$可以推出

可得解析解
$x=(A^TA)^{-1}A^Tb$

此外如果係數矩陣A是稀疏的話可以更快的進行求解

使用最小二乘
判別一個優化問題是否是最小二乘十分簡單，只需要檢驗目標函數是否是二次函數，然後檢驗是否是半正定的。

加權最小二乘
形式如下

可以很方便轉化成最小二乘進行求解

正則化
正則化是解決最小二乘問題的另一個技術，一個最簡單的形式如下：

1.2.2 線性規劃

線性規劃問題如下述形式表示

求解線性規劃
存在許多非常有效求解線性規劃問題的方法，比如Dantzig的單純形法，最近發展起來的內點法

使用線性規劃

比如Chebyshev逼近問題

等價於求解如下線性規劃問題

1.3 凸優化

凸優化問題具有以下形式化
$minimize\ \ \ f_0(x) \\ subject \ to\ \ f_i(x)\leq b_i\ \ \ i=0,...,m$
其中需要滿足
$f_i(\alpha x+\beta y)\leq \alpha f_i(x)+\beta f_i(y)$
且$\alpha+\beta=1,\alpha\geq0,\beta\geq0$

1.3.1 求解凸優化問題

凸優化問題沒有一個確定的解析解，但是和線性規劃類似，存在許多算法求解凸優化問題，實際意義中內點法就比較有效

1.3.2 使用凸優化

同線性規劃和最小二乘類似，我們可以將某個問題轉化爲凸優化問題進而將其求解，不過，判斷哪些問題是否屬於凸優化問題是比較有挑戰性的工作

1.4 非線性優化

即目標函數和約束函數是非線性函數的優化問題

1.4.1 局部優化

尋找局部最優解，不保證是全局最優

1.4.2 全局優化

在全局優化中，人們致力於搜索問題的全局最優解，付出的代價是效率

1.4.3 非凸問題中凸優化的應用

• 局部優化中利用凸優化進行初始值的選取
• 非凸優化中的凸啓發式算法
  • 隨機化算法
  • 搜索帶約束條件的稀疏向量
• 全局優化的界
  • 鬆弛算法中，每個非凸的約束都用一個鬆弛的凸約束來替代