漫步最优化十五——凸函数优化


穿





——

1 如果f(x) 是定义在凸集Rc 上的凸函数,那么

  1. f(x) 取最小值构成的点集合Sc 是凸集;
  2. 任何f(x) 的局部极小都是全局极小。

(a)如果Ff(x) 的极小值,那么Sc={x:f(x)F,xRc} 是凸集。

(b)如果xRc 是局部极小值,但存在全局极小点xRc 使得

f(x)<f(x)

那么在直线x=αx+(1α)x

f[αx+(1α)x]αf(x)+(1α)f(x)<αf(x)+(1α)f(x)

或者

f(x)<f(x)for all α

这与x 是局部极小值相矛盾,因此在凸集上的任何局部极小值是全局极小值。

2 如果f(x)C1 是凸集Rc 上的凸函数,且存在点x 使得对所有x1Rc

g(x)Td0whered=x1x

,那么xf(x) 的全局极小值。

根据上篇文章的定理可知

f(x1)f(x)+g(x)T(x1x)

其中g(x)f(x) 在点x=x 处的梯度。因为

g(x)T(x1x)0

所以

f(x1)f(x)

所以x 是局部极小值,根据定理1可知x 也是局部极小值。

同样的,如果f(x) 是严格凸函数且

g(x)Td>0

那么x 是强全局极小值。

上面的定理说明,如果f(x) 是凸函数,那么x 是全局极小值的一阶充分条件变成了了必要条件。

因为单变量的凸函数形状像字母U ,而二元凸函数像个碗,所以没有像定理1,2那样表征凸函数极大值的定理,然而,下面的定理是有用的。

3 如果f(x) 是定义在有界闭的凸集Rc 上,那么如果f(x)Rc 上有极大值,它一定在Rc 的边界上。

如果点xRc 的内部,那么我们可以得出一条通过x 且与边界相交两点x1,x2 的直线,这是因为Rc 是有界闭集合。因为f(x) 是凸函数,所以存在α,0<α<1 使得

x=αx1+(1α)x2


f(x)αf(x1)+(1α)f(x2)

如果f(x1)>f(x2) ,那么

f(x)<αf(x1)+(1α)f(x1)=f(x1)

如果

f(x1)<f(x2)

,那么

f(x)<αf(x2)+(1α)f(x2)=f(x2)

接下来如果

f(x1)=f(x2)

那么

f(x)f(x1)andf(x)f(x2)

显然,所有可能的极大值都发生在Rc 的边界上。

这个定理图示如图1。


这里写图片描述
图1

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章