漫步最優化十五——凸函數優化


穿





——

1 如果f(x) 是定義在凸集Rc 上的凸函數,那麼

  1. f(x) 取最小值構成的點集合Sc 是凸集;
  2. 任何f(x) 的局部極小都是全局極小。

(a)如果Ff(x) 的極小值,那麼Sc={x:f(x)F,xRc} 是凸集。

(b)如果xRc 是局部極小值,但存在全局極小點xRc 使得

f(x)<f(x)

那麼在直線x=αx+(1α)x

f[αx+(1α)x]αf(x)+(1α)f(x)<αf(x)+(1α)f(x)

或者

f(x)<f(x)for all α

這與x 是局部極小值相矛盾,因此在凸集上的任何局部極小值是全局極小值。

2 如果f(x)C1 是凸集Rc 上的凸函數,且存在點x 使得對所有x1Rc

g(x)Td0whered=x1x

,那麼xf(x) 的全局極小值。

根據上篇文章的定理可知

f(x1)f(x)+g(x)T(x1x)

其中g(x)f(x) 在點x=x 處的梯度。因爲

g(x)T(x1x)0

所以

f(x1)f(x)

所以x 是局部極小值,根據定理1可知x 也是局部極小值。

同樣的,如果f(x) 是嚴格凸函數且

g(x)Td>0

那麼x 是強全局極小值。

上面的定理說明,如果f(x) 是凸函數,那麼x 是全局極小值的一階充分條件變成了了必要條件。

因爲單變量的凸函數形狀像字母U ,而二元凸函數像個碗,所以沒有像定理1,2那樣表徵凸函數極大值的定理,然而,下面的定理是有用的。

3 如果f(x) 是定義在有界閉的凸集Rc 上,那麼如果f(x)Rc 上有極大值,它一定在Rc 的邊界上。

如果點xRc 的內部,那麼我們可以得出一條通過x 且與邊界相交兩點x1,x2 的直線,這是因爲Rc 是有界閉集合。因爲f(x) 是凸函數,所以存在α,0<α<1 使得

x=αx1+(1α)x2


f(x)αf(x1)+(1α)f(x2)

如果f(x1)>f(x2) ,那麼

f(x)<αf(x1)+(1α)f(x1)=f(x1)

如果

f(x1)<f(x2)

,那麼

f(x)<αf(x2)+(1α)f(x2)=f(x2)

接下來如果

f(x1)=f(x2)

那麼

f(x)f(x1)andf(x)f(x2)

顯然,所有可能的極大值都發生在Rc 的邊界上。

這個定理圖示如圖1。


這裏寫圖片描述
圖1

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章