你在穿山越岭的另一边,
而我也在没有尽头的孤独路上前行。
试着体会错误,试着忍住眼泪,
可是该有的情绪根本逃不开。
我知道逃避是没有用的,
但是我还会记得你的关心与爱。
——畅宝宝的傻逼哥哥
定理1: 如果f(x) 是定义在凸集Rc 上的凸函数,那么
- f(x) 取最小值构成的点集合Sc 是凸集;
- 任何f(x) 的局部极小都是全局极小。
证明: (a)如果F∗ 是f(x) 的极小值,那么Sc={x:f(x)≤F∗,x∈Rc} 是凸集。
(b)如果x∗∈Rc 是局部极小值,但存在全局极小点x∗∗∈Rc 使得
f(x∗∗)<f(x∗)
那么在直线x=αx∗∗+(1−α)x∗
f[αx∗∗+(1−α)x∗]≤αf(x∗∗)+(1−α)f(x∗)<αf(x∗)+(1−α)f(x∗)
或者
f(x)<f(x∗)for all α
这与x∗ 是局部极小值相矛盾,因此在凸集上的任何局部极小值是全局极小值。
定理2: 如果f(x)∈C1 是凸集Rc 上的凸函数,且存在点x∗ 使得对所有x1∈Rc
g(x∗)Td≥0whered=x1−x∗
,那么x∗ 是f(x) 的全局极小值。
证明: 根据上篇文章的定理可知
f(x1)≥f(x∗)+g(x∗)T(x1−x∗)
其中g(x∗) 是f(x) 在点x=x∗ 处的梯度。因为
g(x∗)T(x1−x∗)≥0
所以
f(x1)≥f(x∗)
所以x∗ 是局部极小值,根据定理1可知x∗ 也是局部极小值。
同样的,如果f(x) 是严格凸函数且
g(x∗)Td>0
那么x∗ 是强全局极小值。
上面的定理说明,如果f(x) 是凸函数,那么x∗ 是全局极小值的一阶充分条件变成了了必要条件。
因为单变量的凸函数形状像字母U ,而二元凸函数像个碗,所以没有像定理1,2那样表征凸函数极大值的定理,然而,下面的定理是有用的。
定理3: 如果f(x) 是定义在有界闭的凸集Rc 上,那么如果f(x) 在Rc 上有极大值,它一定在Rc 的边界上。
证明: 如果点x 在Rc 的内部,那么我们可以得出一条通过x 且与边界相交两点x1,x2 的直线,这是因为Rc 是有界闭集合。因为f(x) 是凸函数,所以存在α,0<α<1 使得
x=αx1+(1−α)x2
且
f(x)≤αf(x1)+(1−α)f(x2)
如果f(x1)>f(x2) ,那么
f(x)<αf(x1)+(1−α)f(x1)=f(x1)
如果
f(x1)<f(x2)
,那么
f(x)<αf(x2)+(1−α)f(x2)=f(x2)
接下来如果
f(x1)=f(x2)
那么
f(x)≤f(x1)andf(x)≤f(x2)
显然,所有可能的极大值都发生在Rc 的边界上。
这个定理图示如图1。
图1