即便沒有那麼多浪漫的話，
我也想與你走過每個冬夏。
你的出現是我唯一的心動，
你的與衆不同讓我難以忘記每個笑容。
越相處越習慣你，
越想擁有你，
只想每分每秒陪伴你的苦與樂。
——暢寶寶的傻逼哥哥
梯度
g(x) 與海森矩陣
H(x) 在局部極小值點
x∗ 上必須滿足某些條件，兩個條件集如下：
- 在局部極小值點x∗ 處必須滿足的條件，他們是必要條件。
- 保證x∗ 是局部極小值點點條件，他們是充分條件。
充分必要條件可以用許多定理的形式進行描述，這些定理中使用比較廣泛的概念就是可行方向的概念。
定義1：δ=αd 是x 上的變化量，其中α 是正常數，d 是方向向量，如果R 是可行域且存在常數α̂ >0 使得對所有α,x+αd∈R ，其中0≤α≤α̂ ，那麼稱d 爲點x 的可行方向。
效果上，如果點x 沿方向d 移動有限的距離後依然在R 中，那麼d 就是x 的可行方向向量。
例1： 優化問題的可行域爲
R={x:x1≥2,x2≥0}
如圖1所示，對於點x1=[4 1]T,x2=[2 3]T,x3=[1 4]T ，向量d1=[−2 2]T,d2=[0 2]T,d3=[2 0] 那個是可行方向？
解： 令α̂ =1 ，在0≤α≤α̂ 範圍內的所有α ，
x1+αd1∈R
d1 是點x1 處的可行方向；對任意0≤α≤α̂
x1+αd2∈Rx1+αd3∈R
因此d2,d3 是x1 的可行方向。
因爲不存在常數α̂ >0 使得
x2+αd1∈Rfor 0≤α≤α̂
，所以d1 不是x2 處的可行方向。另一方面，存在正數α̂ 使得對0≤α≤α̂ 而言
x2+αd2∈Rx2+αd3∈R
，所以d2,d3 是x2 的可行方向。
![這裏寫圖片描述]()
圖1
因爲x3 不在R 中，所以不存在α̂ 是的對任意的d
x3+αd∈Rfor 0≤α≤α̂
，因此d1,d2,d3 不是x3 的可行方向。
一階必要條件
目標函數要想有極小值，必須滿足裏兩個條件，也就是一階與二階條件，一階條件是一階導數的形式，如梯度。
定理1： 極小值的一階必要條件。
- 如果f(x)∈C1,x 是局部最小值點，那麼對於x∗ 處的所有可行方向
g(x∗)Td≥0
- 如果x∗ 是R 的內點，那麼
g(x∗)=0
證明：(a) 如果d 是x∗ 的可行方向，那麼
x=x∗+αd∈Rfor 0≤α≤α̂
利用泰勒級數
f(x)=f(x∗)+αg(x∗)Td+o(α∥d∥)
如果
g(x∗)Td<0
那麼當α→0 時
αg(x∗)Td+o(α∥d∥)<0
那麼
f(x)<f(x∗)
這與假設x∗ 是極小值相矛盾，因此x∗ 爲極小值的必要條件是
g(x∗)Td≥0
(b) 如果x∗ 是R 的內點，所有可行方向的向量均存在，那麼由(a) 可知，向量d=d1 產生
g(x∗)Td1≥0
同樣的，對於方向d=−d1
−g(x∗)Td1≥0
因此在這種情況下，x∗ 是極小值的必要條件是
g(x∗)=0
二階必要條件
二階必要條件涉及到一階與二階導，或者等價的梯度與海森矩陣。
定義1：
- 令d 是點x 處的任意方向向量，如果對任意的d≠0,dTHd>0,≥0,≤0,<0 ，那麼稱二次項dTH(x)d 爲正定，半正定，半負定，負定。如果dTH(x)d 既可以爲正也可以爲負，那麼稱其爲不定的。
- 如果dTH(x)d 是正定，半正定等，那麼稱矩陣H(x) 爲正定，半正定等矩陣。
