簡單介紹一下對非線性最小二乘問題的數學理解，有不足之處還望批評指正~
一、最小二乘問題定義
No1.最小二乘問題定義：
找到一個
使得F(x)值最小，即使殘差平方和最小。（式中1/2作爲常數對問題本質沒有影響，有的地方也沒有這個1/2)。
對於F(x)最小，則又分爲局部最小No2和全局最小No3
No2.局部最小
for
即在一個固定領域內，
使得
最小。
No3.全局最小
即使得在整個函數定義域最小。
對代價函數F(x)進行泰勒展開並只保留二階量
J爲雅克比矩陣，H爲海塞矩陣。
我們的目的（也是最小二乘的目的）就是找到一個x,使得代價函數F(x)最小，即殘差平方和最小。因此，我們可以通過迭代的方式，讓每次迭代的結果 
，使得代價函數不斷減小。
很明顯F(x)在導數爲0時，有穩定點（極大值點、極小值點和鞍點），我們要求的相當於是極小值點，又當
在
處爲穩定點時，若H矩陣爲正定的，則此時爲極小值點。
即代入
（求的未知量是
，故對其求導），可得
即
。又因爲前面保證了H的正定性，所以H是可逆的。這就是牛頓法。
二、寫的有點煩...不想寫了orz