凸优化理论（2）

上篇博客开始了我的凸优化之旅，介绍了凸集和凸函数的定义，这篇博客给出凸函数非常有用的性质和判别条件，并给出其数学证明，同时给出强凸函数定义。

首先勘误一下上篇博客关于严格凸的定义，其条件不是$\lambda \in [0,1]$，而是$\lambda \in (0,1)$
1、性质1：局部最优就是全局最优
证明： 利用反证法进行证明，假设$f(x^*)$为找到的一个局部最小值，假设还存在一个$f(x_n)$更小，即
$f(x^*)>f(x_n)$
则在凸集$S$上，由凸函数定义有
$f(x^*+\lambda (x_n-x^*))\leq \lambda f(x_n)+(1-\lambda)f(x^*)$
其中$\lambda \in [0,1]$，如果令$\lambda$不为0，则$f(x^*+\lambda (x_n-x^*))<f(x^*)$，显然可以很轻松地找到合适的$\lambda$使得$x^*+\lambda (x_n-x^*)$非常靠近$x^*$，这将与$f(x^*)$是局部最小相矛盾。

2、性质2：一阶条件，设$f(x)$在凸集$S$上具有一阶连续偏导，则$f(x)$为$S$上的凸函数的充要条件为
$\forall x_1,x_2\in S , f(x_2)\geq f(x_1)+\triangledown f(x_1)^T(x_2-x_1)$
证明：
(1) 首先考虑一元函数情形
充分性： 由凸函数定义有$f(x_1+\lambda (x_2-x_1)) \leq \lambda f(x_2)+(1-\lambda)f(x_1)$
假设$\lambda \in (0,1]$，则不等式2边同除$\lambda$，得
$f(x_2)\geq f(x_1)+\frac{f(x_1+\lambda (x_2-x_1))-f(x_1)}{\lambda}$
令$\lambda$趋近于0即可得$f(x_2)\geq f(x_1)+f'(x_1)(x_2-x_1)$

必要性： 取$z=\lambda x_1+(1-\lambda) x_2$，则
$f(x_1)\geq f(z)+f'(z)(x_1-z)$
$f(x_2)\geq f(z)+f'(z)(x_2-z)$
上述2式分别乘以$\lambda$和$1-\lambda$则可得$f(z)\leq \lambda f(x_1) + (1-\lambda)f(x_2)$

多元函数的证明与一元函数思路类似。
3、性质3：二阶条件，设函数$f(x)$在开凸集$S$上具有二阶连续偏导，$f(x)$为凸函数的充要条件是函数的$Hessian$矩阵在$S$上处处半正定。
二阶判别条件的证明留作下篇给出。