简单介绍一下对非线性最小二乘问题的数学理解，有不足之处还望批评指正~
一、最小二乘问题定义
No1.最小二乘问题定义：
找到一个
使得F(x)值最小，即使残差平方和最小。（式中1/2作为常数对问题本质没有影响，有的地方也没有这个1/2)。
对于F(x)最小，则又分为局部最小No2和全局最小No3
No2.局部最小
for
即在一个固定领域内，
使得
最小。
No3.全局最小
即使得在整个函数定义域最小。
对代价函数F(x)进行泰勒展开并只保留二阶量
J为雅克比矩阵，H为海塞矩阵。
我们的目的（也是最小二乘的目的）就是找到一个x,使得代价函数F(x)最小，即残差平方和最小。因此，我们可以通过迭代的方式，让每次迭代的结果 
，使得代价函数不断减小。
很明显F(x)在导数为0时，有稳定点（极大值点、极小值点和鞍点），我们要求的相当于是极小值点，又当
在
处为稳定点时，若H矩阵为正定的，则此时为极小值点。
即代入
（求的未知量是
，故对其求导），可得
即
。又因为前面保证了H的正定性，所以H是可逆的。这就是牛顿法。
二、写的有点烦...不想写了orz