漫步最優化四十四——基本擬牛頓法

你走進了我的視覺，
我開始發現，
心裏有個角落，
一直在等你出現。
你的可愛讓我淪陷，
你的魅力讓我傾倒，
總是想着看你一遍，
不管天涯海角，
我要在你的身邊。
——暢寶寶的傻逼哥哥

對於前面介紹的方法，第k 次迭代生成的點由

xk+1=xk−αkSkgk(1)

生成，其中

Sk={InH−1k對於最速下降法對於牛頓法

如果二次問題爲

minimize f(x)=a+bTx+12xTHx

我們現在用任意一個n×n 的正定矩陣Sk 來求上述問題的解，看看會得到什麼。通過對f(xk−αSkgk) 求導並令其等於零，最小化f(xk−αSkgk) 的α 可以化簡爲

αk=gTkSkgkgTkSkHSkgk(2)

其中

gk=b+Hxk

是f(x) 在點x=xk 處的梯度。

可以說明的是

f(xk+1)−f(x∗)≤(1−r1+r)2[f(xk)−f(x∗)]

其中r 是SkH 最小特徵值與最大特徵值之比。從效果上看基於等式1與2的算法將線性收斂，其收斂比率爲

β=(1−r1+r)2

如果r=1 收斂最快，即SkH 的特徵值基本相等，這就意味着要想得到最好的結果，我們需要選擇

SkH=In

或者

Sk=H−1

同樣地，對於一般的最優化問題，我們選擇的正定矩陣Sk 應該等於或者至少近似等於H−1k 。

擬牛頓法的搜索方向基於正定矩陣Sk ，它由可得到的數據生成，並設法作爲H−1k 的近似。對於H−1k 的近似法有許多，因此存在許多不同的擬牛頓法。