線性迴歸

給出房子的面積，房子的位置，計算出房子的價錢。
input是二維，面積跟位置

輸出目標是價格，我們可以用線性表達式做一個加權

因此我們可以寫成最簡單的迴歸模型形式：

解這個方程我們可以用梯度下降的方式求

這是一個最簡單的迴歸，我們可以從概率的角度對他進行解釋：

我們認爲所有的結果都是我們的模型加上一個噪聲造成的，這個噪聲是高斯噪聲，均值爲0，方差爲 (鍵盤打不出來，你們都懂)

這樣我們可以吧樣本中的條件概率寫成這種形式：

就是given x,和參數w，可以求出y的概率。
這樣我們就可以定義參數w的似然函數：

似然函數其實是反應模型中參數的概率的函數，我們取對數就可以把高斯中的指數消掉

我們最大化這個似然函數就可以得到w，變成了最小二乘問題：

其實最大化似然函數跟最小化二乘是一樣的。
如果是局部加權的線性迴歸又是什麼樣的呢？

在這裏我們多了一個參數，這個參數我們也是要求出來的：

這個參數跟每一個樣本都有關係，從物理的角度分析這個問題，就是我們每一次加權時，離它近的點的權重會比較大，影響會大，離它遠的點的作用就會小
非線性奇函數的線性迴歸模型
我們從幾何的層面上看，假設y是一個n維的向量，輸入樣本有N 個，一個樣本有一個輸出，y是一個n 維的向量，把每一個x樣本通過m個奇函數映射到m 維空間，在圖中畫了兩個紅色的向量1和2

分類

我們先對兩類問題的分類做一個預備知識：
我們given x ，y=1的概率維t,y=0 的概率維1-t

分類規則爲：

我們也可以寫成：

log這種式子叫做logit function,logistic function其實是它的反函數。
logistic function

這個g(.)稱作logistic 或者sigmoid function

logistic 迴歸是一個分類模型，建立這樣一個模型之後就要進行參數的估計

參數的似然就可以寫生下面的形式：

求所有N個樣本的後驗概率的乘積，然後再取log,取最小化