最優化方法二：凸集、凸函數與凸優化

凸優化最基礎的優化方法，設定凸函數、凸集合條件，滿足該條件的優化問題可以方便地求解，同時非凸優化問題可以轉化成凸優化問題求解，這是凸優化最有價值的地方。

1 凸集

凸集定義：對於集合D，若對於任意兩點滿足：

                                                                        

並且該連線上任一點處於集合中，則集合D爲凸集，反之爲凹集。

直觀理解：

                                                        

2 凸函數

2.1 凸函數定義

對於凸集D，如果對於任意的，恆有：

                                      

則函數爲凸集D上的凸函數。如果恆有如下公式：

                                        

則函數爲凸集D上的嚴格凸函數。

直觀理解如下：

                                                    

AB連線上的點大於等於之間的。

2.2 凸函數判定方法

通過Hession矩陣判定，如果的Hession矩陣處處半正定，則函數凸函數；如果函數Hession矩陣處處正定，函數爲嚴格凸函數。

3 凸優化

同時滿足優化的目標函數爲凸函數，可行域爲凸集，稱之爲凸優化，表達式如下：

                                                               

凸優化非常易於解決，如果一個實際的問題可以被表示成凸優化問題，那麼我們就可以認爲其能夠得到很好的解決。並且對於凸優化問題來說，局部最優解就是全局最優解。同時，非凸優化問題可以轉化爲凸優化問題進行解決，比如拉格朗日乘子法等。