你在穿山越嶺的另一邊,
而我也在沒有盡頭的孤獨路上前行。
試着體會錯誤,試着忍住眼淚,
可是該有的情緒根本逃不開。
我知道逃避是沒有用的,
但是我還會記得你的關心與愛。
——暢寶寶的傻逼哥哥
定理1: 如果f(x) 是定義在凸集Rc 上的凸函數,那麼
- f(x) 取最小值構成的點集合Sc 是凸集;
- 任何f(x) 的局部極小都是全局極小。
證明: (a)如果F∗ 是f(x) 的極小值,那麼Sc={x:f(x)≤F∗,x∈Rc} 是凸集。
(b)如果x∗∈Rc 是局部極小值,但存在全局極小點x∗∗∈Rc 使得
f(x∗∗)<f(x∗)
那麼在直線x=αx∗∗+(1−α)x∗
f[αx∗∗+(1−α)x∗]≤αf(x∗∗)+(1−α)f(x∗)<αf(x∗)+(1−α)f(x∗)
或者
f(x)<f(x∗)for all α
這與x∗ 是局部極小值相矛盾,因此在凸集上的任何局部極小值是全局極小值。
定理2: 如果f(x)∈C1 是凸集Rc 上的凸函數,且存在點x∗ 使得對所有x1∈Rc
g(x∗)Td≥0whered=x1−x∗
,那麼x∗ 是f(x) 的全局極小值。
證明: 根據上篇文章的定理可知
f(x1)≥f(x∗)+g(x∗)T(x1−x∗)
其中g(x∗) 是f(x) 在點x=x∗ 處的梯度。因爲
g(x∗)T(x1−x∗)≥0
所以
f(x1)≥f(x∗)
所以x∗ 是局部極小值,根據定理1可知x∗ 也是局部極小值。
同樣的,如果f(x) 是嚴格凸函數且
g(x∗)Td>0
那麼x∗ 是強全局極小值。
上面的定理說明,如果f(x) 是凸函數,那麼x∗ 是全局極小值的一階充分條件變成了了必要條件。
因爲單變量的凸函數形狀像字母U ,而二元凸函數像個碗,所以沒有像定理1,2那樣表徵凸函數極大值的定理,然而,下面的定理是有用的。
定理3: 如果f(x) 是定義在有界閉的凸集Rc 上,那麼如果f(x) 在Rc 上有極大值,它一定在Rc 的邊界上。
證明: 如果點x 在Rc 的內部,那麼我們可以得出一條通過x 且與邊界相交兩點x1,x2 的直線,這是因爲Rc 是有界閉集合。因爲f(x) 是凸函數,所以存在α,0<α<1 使得
x=αx1+(1−α)x2
且
f(x)≤αf(x1)+(1−α)f(x2)
如果f(x1)>f(x2) ,那麼
f(x)<αf(x1)+(1−α)f(x1)=f(x1)
如果
f(x1)<f(x2)
,那麼
f(x)<αf(x2)+(1−α)f(x2)=f(x2)
接下來如果
f(x1)=f(x2)
那麼
f(x)≤f(x1)andf(x)≤f(x2)
顯然,所有可能的極大值都發生在Rc 的邊界上。
這個定理圖示如圖1。
圖1