牛頓法

一般來說, 牛頓法主要應用在兩個方面, 1, 求方程的根; 2, 最優化。

1，求方程的根

其原理便是使用泰勒展開，然後去線性部分，即：

                (1)

然後令上式等於0，則有：

                                (2)

經過不斷迭代：

                             (3)

當精度達到要求的時候停止迭代。

迭代示意圖如上所示。

2，最優化

最優化一般是求極大或極小問題，這可以轉變爲求導數零點，然後轉變爲1的情形。

即f' = 0;

把f(x)用泰勒公式展開到二階，即：

                                          (4)

等號左邊和f(x)近似相等，抵消。然後對求導，(注: f'(x)、f''(x)均爲常數項）得到：

                                                                           (5)

更進一步：

                                                                                (6)

然後得到迭代式子：

                                                            (7)

以上只針對單變量進行討論，如果對多變量就要引入雅克比矩陣和海森矩陣

一般認爲牛頓法可以利用到曲線本身的信息, 比梯度下降法更容易收斂（迭代更少次數）

簡單介紹一下二者，雅克比矩陣爲函數對各自變量的一階導數，海森矩陣爲函數對自變量的二次微分。形式分別如下：

把兩個矩陣代入(7)中