凸優化理論（2）

上篇博客開始了我的凸優化之旅，介紹了凸集和凸函數的定義，這篇博客給出凸函數非常有用的性質和判別條件，並給出其數學證明，同時給出強凸函數定義。

首先勘誤一下上篇博客關於嚴格凸的定義，其條件不是$\lambda \in [0,1]$，而是$\lambda \in (0,1)$
1、性質1：局部最優就是全局最優
證明： 利用反證法進行證明，假設$f(x^*)$爲找到的一個局部最小值，假設還存在一個$f(x_n)$更小，即
$f(x^*)>f(x_n)$
則在凸集$S$上，由凸函數定義有
$f(x^*+\lambda (x_n-x^*))\leq \lambda f(x_n)+(1-\lambda)f(x^*)$
其中$\lambda \in [0,1]$，如果令$\lambda$不爲0，則$f(x^*+\lambda (x_n-x^*))<f(x^*)$，顯然可以很輕鬆地找到合適的$\lambda$使得$x^*+\lambda (x_n-x^*)$非常靠近$x^*$，這將與$f(x^*)$是局部最小相矛盾。

2、性質2：一階條件，設$f(x)$在凸集$S$上具有一階連續偏導，則$f(x)$爲$S$上的凸函數的充要條件爲
$\forall x_1,x_2\in S , f(x_2)\geq f(x_1)+\triangledown f(x_1)^T(x_2-x_1)$
證明：
(1) 首先考慮一元函數情形
充分性： 由凸函數定義有$f(x_1+\lambda (x_2-x_1)) \leq \lambda f(x_2)+(1-\lambda)f(x_1)$
假設$\lambda \in (0,1]$，則不等式2邊同除$\lambda$，得
$f(x_2)\geq f(x_1)+\frac{f(x_1+\lambda (x_2-x_1))-f(x_1)}{\lambda}$
令$\lambda$趨近於0即可得$f(x_2)\geq f(x_1)+f'(x_1)(x_2-x_1)$

必要性： 取$z=\lambda x_1+(1-\lambda) x_2$，則
$f(x_1)\geq f(z)+f'(z)(x_1-z)$
$f(x_2)\geq f(z)+f'(z)(x_2-z)$
上述2式分別乘以$\lambda$和$1-\lambda$則可得$f(z)\leq \lambda f(x_1) + (1-\lambda)f(x_2)$

多元函數的證明與一元函數思路類似。
3、性質3：二階條件，設函數$f(x)$在開凸集$S$上具有二階連續偏導，$f(x)$爲凸函數的充要條件是函數的$Hessian$矩陣在$S$上處處半正定。
二階判別條件的證明留作下篇給出。