一、線性迴歸
即最小化均方誤差LMS，其中X(i)表示第i個樣本。
梯度下降求解：
牛頓法求解
概率角度理解LMS
2. 局部加權線性迴歸
二、非線性迴歸
1. 帶非線性基的迴歸
2. logistic迴歸
迴歸分析可用來分析一個/多個自變量與一個因變量的關係,模型中因變量Y是邊連續性隨機變量,並要求呈正態分佈。當因變量的取值僅有兩個時，P和X的關係顯然不能用一般線性迴歸模型P=B0 +B1 X來表示，這時可用Logistic迴歸分析。
Logistic分佈函數,表達式爲:
X的取值在正負無窮大之間;P(x)則在0-1之間取值,並呈單調上升S型曲線。
優勢比(odds ratio, OR): 某個自變量X j 改變一個單位,造成的後驗概率的比值的變化
logistic迴歸的參數用極大似然估計（MLE）
當使得 ln L 取得最大值時,參數估計值即爲所求。
