凸優化理論（3）

前情回顧
上篇文章給出了凸函數二階條件，即對於凸集$S$上的函數$f$爲凸函數的充要條件爲
$\triangledown f(x)\succeq0\left(x\in domf\right)$
在次給出個人推導的證明，如有錯誤還請指出。

證明：
充分性：
首先列出凸函數定義式和一階條件式
$f(\lambda x+(1-\lambda)y)\leq \lambda f(x)+(1-\lambda)f(y)$
$f(y)\geq f(x)+\triangledown f(x)^T (y-x)$
由一階條件可得 $f(x)\leq f(y)-\triangledown f(x)^T(y-x)$
將其代入凸函數定義式得 $f(\lambda x+(1-\lambda)y)-f(y)\leq -\lambda \triangledown f(x)^T(y-x)$
接下來假設$y>x$，$\lambda$不爲0，則有
$\frac{f(y)-f(\lambda x+(1-\lambda)y)}{\lambda (y-x)}\geq\triangledown f(x)^T$
對任意$y>x$都成立，則固定$y$，求極限
$\lim \limits_{x\rightarrow y}\frac{f(y)-f(\lambda x+(1-\lambda)y)}{\lambda (y-x)}=\triangledown f(y)^T$
則可得到 $\frac{\triangledown f(y)^T-\triangledown f(x)^T}{y-x}\succeq0$
即$\triangledown ^2f(x)\succeq0$

必要性：
使用一階泰勒展開式，餘項使用拉格朗日餘項，可得
$f(y)=f(x)+\triangledown f(x)^T(y-x)+\frac{1}{2}(y-x)\triangledown^2f(z)^T(y-x)$
對於任意的$x,y\in domf,z\in[x,y]$成立
則可得一階條件式$f(y)\geq f(x)+\triangledown f(x)^T(y-x)$
再按照之前由一階條件式推出凸函數定義即得證。