1.什麼是線性模型

給定由d個屬性描述的示例x={x1;x2;x3;…;xd}，其中xi是x在第i個屬性上的取值。線性模型試圖學得一個通過屬性得線性組合來進行預測得函數，即：

很好理解，線性模型就是通過給每一個屬性（屬性必然是已給出的）找一個權重，讓他們相乘之後再相加得到的結果和實際上得結果越接近越好，當然，能相等最好。
我們怎麼評估一個模型（就是這樣一組權重和偏差）計算出的結果是最好的呢？此時，我們使用均方誤差來衡量計算值（預測值）與實際值之間的差距。均方誤差就是一個損失函數。

其中W和b表示W和b的解。 argmin表示使後面的函數值最小。
當上面的函數最小，就表示我們的模型已經和實際的函數很接近了。例如：

藍色的點爲實際的樣本點，紅色的線爲我們預測的函數，當損失函數最小時，可以認爲函數擬合的最好。

2.一元線性迴歸

上面我們已經知道我們的目的是使損失函數最小化。直觀的來說，既然最小，必然是一個極值，極值點的導數或者偏導數必然爲0.所以，我們只要讓損失函數分別對w和b求偏導，解的w和b就可以了。
因爲我們現在只是一元線性迴歸，所以x是一個標量*也就是一個數字，而不是向量），w和b也是標量。
只要能夠解出上面方程組的解，我們就知道w和b的值了。

這樣，w和b我們就計算出來了。

Andrew在講解線性迴歸時候直接就使用了梯度下降的方法來解w和b，當然也是可以的。而且，梯度下降後面會很常用。

可能有人會有這樣的疑問：你怎麼知道令導數爲0，解出來的就是能使損失函數E最小的點呢？
因爲：函數E是關於w和b的一個凸函數，當他關於w和b的倒數爲0時，得到的就是最優解。

3.多元線性迴歸

上面我們的計算只有x和w都是標量，計算起來相對簡單，但是，這種情況實際中不常見，更常見的是一個樣本有多個屬性。此時，就需要使用多元線性迴歸了。

其中，x_ij表示的是，樣本i的第j個特徵。
此時，我們有m個樣例，每個樣例有d個特徵，我們的X矩陣即爲m x (d+1)。爲了計算方便，我們把偏差b和w合起來。變成下面的形式，w就是(m+1) x 1的向量了。

此時，矩陣X和矩陣w相乘，得到的是mx1的向量，和y向量是一致的，二者可以直接進行加減運算了。

我們的損失函數即爲：

同樣的，我們還使用求導數的方法來解w，現在w中也含有b了，直接求就行了。

此時，我們的模型就計算完了：

注意：上面我的計算中視w和w彎等等是一樣的。

你可能注意到了，上面的計算中有一個求逆的運算，可是，我們怎麼保證X^TX一定有逆呢？？？？
事實是我們也無法保證，如果存在的話最好，不存在的話需要我們進行正則化處理。（矩陣不滿秩不可逆）

推薦：嶺迴歸和LASSO迴歸的區別

（1）嶺迴歸

上面說了矩陣可能會存在不可逆的情況，進而造成無解或者說解無窮多的情況。爲了解決這一問題，我們在損失函數E後面添加L2範數的懲罰項。比如：

其中λ爲非負數。λ越大，則爲了使E最小，迴歸係數β就越小。

求w的推導過程這裏先不寫了。

（2） LASSO迴歸

和嶺迴歸類似，只是損失函數之後加的不是L2範數，而是L1範數了。

4.基於知識的線性迴歸

廣義線性迴歸是把非線性問題轉換爲線性問題。但是轉換的方法不只有廣義線性迴歸裏的那種，還可以這樣：
用一組由原特徵值表示的函數來代替原有的特徵。
其中：

5.廣義線性迴歸

上面的線性迴歸的都是普通的，直接權重和特徵值相乘。但是，這樣計算出的怎麼都是一條直線（可能是很高維的直線），如果目標是一個指數呢。

這樣，我們就可以擬合一個指數函數了。這樣的就是廣義線性迴歸。

6.對數機率迴歸

機器學習有兩大基本任務：分類和迴歸。雖然他們屬於不同類別的問題，但是也可以統一起來。把分類問題作爲迴歸問題來考慮，設置一個閾值，大於這個閾值爲1類，小於這個閾值爲1類。

比如：二分類問題：
如果使用單位階躍函數是最好的，預測值大於0就是正樣例，小於0就是負樣例。

但是，單位階躍函數是不連續的，迴歸問題卻是連續的問題。所以，我們需要使用sigmoid函數代替階躍函數。（sigmoid函數也經常作爲神經網絡的激活函數）

其中，z=w^Tx + b。

如果把y作爲樣例是正樣例的可能性，y/(1-y)成爲“機率”，反應x作爲正樣例的相對可能性。對機率取對數就是對數機率。

上式左邊就是樣本是正樣例的概率/樣本是負樣例的概率，再取對數。就是對數機率。
顯然有：