凸優化問題

凸集

凸集的交集還是凸集。 

仿射空間是典型的凸集，Ax = b，Ax < b 線性等式和線性不等式是凸集。

 

 

凸函數

判斷凸函數的方法：定義，一階導數判定，二階導數判定。

定義：

一階：f(y) > f(x) + f '(x)*(y-x)； 二階：f ''(x) >= 0，>0爲嚴格凸函數，二維則Hessian矩陣爲半正定，正定爲嚴格凸函數。

凸函數的線性組合  還是凸函數。

二次函數是典型的凸函數。

 

凸優化問題是目標函數是凸函數，可行域是凸集，即雙凸。

如SVM的目標函數和約束條件，爲單位矩陣，即正定，是凸函數，<0 爲線性不等式，是凸集，所以SVM的的優化問題爲凸優化問題，而是二次型，所以是凸二次規劃問題。

 

凸優化問題的性質，局部最優解是全局最優解，並且規避了鞍點問題（因爲Hessian矩陣是半正定的，不存在不確定的點）

 

slater條件是強對偶的充分但不必要問題。滿足slater條件是 1）凸函數+ 2）至少存在一組解使g(x) < 0兩個條件。