最优化方法二：凸集、凸函数与凸优化

凸优化最基础的优化方法，设定凸函数、凸集合条件，满足该条件的优化问题可以方便地求解，同时非凸优化问题可以转化成凸优化问题求解，这是凸优化最有价值的地方。

1 凸集

凸集定义：对于集合D，若对于任意两点满足：

                                                                        

并且该连线上任一点处于集合中，则集合D为凸集，反之为凹集。

直观理解：

                                                        

2 凸函数

2.1 凸函数定义

对于凸集D，如果对于任意的，恒有：

                                      

则函数为凸集D上的凸函数。如果恒有如下公式：

                                        

则函数为凸集D上的严格凸函数。

直观理解如下：

                                                    

AB连线上的点大于等于之间的。

2.2 凸函数判定方法

通过Hession矩阵判定，如果的Hession矩阵处处半正定，则函数凸函数；如果函数Hession矩阵处处正定，函数为严格凸函数。

3 凸优化

同时满足优化的目标函数为凸函数，可行域为凸集，称之为凸优化，表达式如下：

                                                               

凸优化非常易于解决，如果一个实际的问题可以被表示成凸优化问题，那么我们就可以认为其能够得到很好的解决。并且对于凸优化问题来说，局部最优解就是全局最优解。同时，非凸优化问题可以转化为凸优化问题进行解决，比如拉格朗日乘子法等。