牛頓法、梯度下降法、隨機梯度下降法、共軛梯度法

梯度：

函數f(x)在某一點的梯度指向最大化f(x)的方向

目標：

f(x)=E(x)^2=0;

牛頓法：

X(i+1)=X(i)-f(x)/f`(x);

梯度下降法：

X(i+1)=X(i)-r*f`(x);

隨機梯度下降法：

X(i+1)=X(i)-r*f`(xi);

共軛梯度法