漫步最優化二十——下降函數

就算言語無法表達，
我仍能聽見你的聲音；
就算陽光不再耀眼，
我也永遠傾心與寶寶。
你燃亮了我的雙眸，
讓我懂得如何去愛，
你是我的愛，我的情人，我的寶寶。
——暢寶寶的傻逼哥哥

對於任何的下降算法，利用的函數D(x) 在整個優化過程中連續下降直到收斂，函數D(x) 可能本身就是目標函數，或者是相關函數，稱之爲下降函數。形式的定義如下所述：

定義1： 令S⊂X 是包含解的集合，假設A 是X上的算法，X上的連續實值函數D(x) 稱爲S,A的下降函數，如果該函數滿足

• 如果xk≠S ，那麼對所有的xk+1∈A(xk),D(xk+1)<D(x)
• 如果xk≠S ，那麼對所有的xk+1∈A(xk),D(xk+1)≤D(x)

的話。

例1： 求出算法

xk+1=A(xk)=14xk

的下降函數。

解： 對任意點x0 ，生出序列

{xk}∞k=0={x0,x04,x042,…,0}

因此D(xk)=|xk| 滿足第一個條件，解爲單點x∞=0 ，故第二個條件也滿足。由此可得D(x)=|x| 是該算法的一個下降函數。