漫步最優化十二——局部極小與極大的充分必要條件(下)

我心裏有個小小的願望，
就是在接下來漫長的路途中，
把我們愛的點點滴滴裝進行囊。
雖然我沒有寬廣的肩膀，
但我願意你在我的懷裏溫柔撒嬌；
雖然我們會慢慢的變老，
但我慶幸和你一起一直相互依靠。
——暢寶寶的傻逼哥哥

定理2：極小值的二階必要條件

1. 如果f(x)∈C2,x∗ 是局部極小值，那麼對任意可行方向d
   
   • g(x∗)Td≥0
   • 如果g(x∗)Td=0 ，那麼dTH(x∗)d≥0
2. 如果x∗ 是局部極小值，且是R 的內點，那麼
   
   • g(x∗)=0
   • 對所有d≠0,dTH(x∗)d≥0

證明：(a)(b) 中的條件(i) 由前面的定理可得出來。對於(a) 中的條件(ii) 令x=x∗+αd ，其中d 是可行方向，由泰勒級數可得

f(x)=f(x∗)+αg(x∗)Td+12α2dTH(x∗)d+o(α2∥d∥2)

注意如果條件(i) 取等號，那麼

f(x)=f(x∗)+12α2dTH(x∗)d+o(α2∥d∥2)

如果

dTH(x∗)d<0

，那麼當α→0 時

12α2dTH(x∗)d+o(α2∥d∥2)<0

則

f(x)<f(x∗)

這與x∗ 是極小值點相矛盾，因此如果g(x∗)Td=0 ，那麼

dTH(x∗)d≥0

如果x∗ 是局部極小值點，且是R 的內點，那麼所有向量d 是可行方向，因此(b) 部分得條件(ii) 成立，這個條件等價於說H(x∗) 是半正定的。

通過類比可以得出局部極大值的定理。

定理3：極大值的二階必要條件

1. 如果f(x)∈C2,x∗ 是局部極大值，那麼對任意可行方向d
   
   • g(x∗)Td≤0
   • 如果g(x∗)Td=0 ，那麼dTH(x∗)d≤0
2. 如果x∗ 是局部極大值，且是R 的內點，那麼
   
   • g(x∗)=0
   • 對所有d≠0,dTH(x∗)d≤0

(b) 部分的條件(ii) 等價於H(x∗) 是半負定矩陣。

這些條件是局部極值的必要條件但不是充分條件，也就是說有滿足這些條件的點，但它們不是極值點。接下來我們考慮一下充分條件，這裏暫時考慮x∗ 位於可行域內部的情況，對於邊界的情況比較困難，以後在講解。

定理4：極小值點的二階充分條件 如果f(x)∈C2,x∗ 是R 的內點，那麼

1. g(x∗)=0
2. H(x∗) 是正定矩陣

就是x∗ 爲局部極小值的充分條件。

證明： 對於任意方向d ，泰勒級數得到

f(x∗+d)=f(x∗)+g(x∗)Td+12dTH(x∗)d+o(∥d∥2)

如果條件(a) 滿足，我們有

f(x∗+d)=f(x∗)+12dTH(x∗)d+o(∥d∥2)

如果條件(b) 滿足，那麼

12dTH(x∗)d+o(∥d∥2)>0as ∥d∥→0

因此

f(x∗+d)>f(x∗)

即x∗ 是強局部極小值。

通過類比可得到極大值的充分條件。

定理5：極大值點的二階充分條件 如果f(x)∈C2,x∗ 是R 的內點，那麼

1. g(x∗)=0
2. H(x∗) 是負定矩陣

就是x∗ 爲局部極大值的充分條件。