一、线性回归
即最小化均方误差LMS，其中X(i)表示第i个样本。
梯度下降求解：
牛顿法求解
概率角度理解LMS
2. 局部加权线性回归
二、非线性回归
1. 带非线性基的回归
2. logistic回归
回归分析可用来分析一个/多个自变量与一个因变量的关系,模型中因变量Y是边连续性随机变量,并要求呈正态分布。当因变量的取值仅有两个时，P和X的关系显然不能用一般线性回归模型P=B0 +B1 X来表示，这时可用Logistic回归分析。
Logistic分布函数,表达式为:
X的取值在正负无穷大之间;P(x)则在0-1之间取值,并呈单调上升S型曲线。
优势比(odds ratio, OR): 某个自变量X j 改变一个单位,造成的后验概率的比值的变化
logistic回归的参数用极大似然估计（MLE）
当使得 ln L 取得最大值时,参数估计值即为所求。
