機器學習——線性模型

線性模型

１．線性迴歸

1.1 問題及定義

線性迴歸模型是機器學習中的基本算法模型之一，可以用來解決預測房價等問題。如下圖所示的一個例子，房子因房子大小、臥室數目、地板數量等不同而有不同的價格，那麼給定了房子大小、臥室數目、地板數量我們能否預測出一個房子的價格呢？

我們使用線性迴歸來解決上述問題。
給定一個n$n$ 個特徵的實例x$x$ , x=(x1;x2;x3;...;xn)$x=(x_1;x_2;x_3;...;x_n)$ , 對於線性迴歸的假設定義爲：

hθ=θ0+θ1x1+θ2x2+...+θnxn(1)$$\begin{array}{}\text{(1)}& h_{\theta }={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n\end{array}$$

其中θ$\theta$ 表示參數，θ={θ0;θ1;θ2;θ3;...;θn}$\theta =\{{\theta }_0;{\theta }_1;{\theta }_2;{\theta }_3;...;{\theta }_n\}$ 。爲了方便，我們引入x0=1$x_0=1$ ，從而x=(x0;x1;x2;x3;...;xn)$x=(x_0;x_1;x_2;x_3;...;x_n)$ ，然後將上述式子使用向量表示爲：

hθ=θTx(2)$$\begin{array}{}\text{(2)}& h_{\theta }={\theta }^{T}x\end{array}$$

我們使用均方誤差來作爲線性迴歸的代價函數，

其中x(i)$x^{(i)}$ 表示第ｉ個訓練實例的特徵向量，y(i)$y^{(i)}$ 表示第ｉ個訓練實例的真實值，m$m$ 表示實例的個數。
我們可以通過用很多數據來訓練這個模型，得到是代價函數最小的參數θ$\theta$ ，然後使用這個模型來預測房價。
這裏我介紹兩種方法，一種是梯度下降，一種是最小二乘法。

方法一： 梯度下降

我們讓代價函數對參數θ$\theta$ 求導，得到梯度，然後讓參數朝着負梯度方向優化，a$a$ 表示學習率(learning rate)，優化更新步驟如下：

將代價函數代入：

求導後得到：

開始的時候可以隨機的選擇一系列參數，計算所有的預測結果之後，再更新這(n+1)個參數，如此循環直至收斂！

方法二： 最小二乘法

最小二乘法是直接通過使代價函數對於參數θ$\theta$ 的導數爲０，直接計算出參數θ$\theta$ 的值，不過需要滿足一定的條件，而且當特徵維度很大的時候計算會很慢！
假設X=(x(1),x(2),x(3),...,x(m))∈Rm×(n+1)$X=(x^{(1)},x^{(2)},x^{(3)},...,x^{(m)})\in R^{m\times (n+1)}$ ，實例真實值是 Y=(y1,y2,y3,...,ym)∈Rm$Y=(y_1,y_2,y_3,...,y_m)\in R^m$ ，ｍ$ｍ$ 上面說過表示實例的個數，那麼使用均值方差的代價函數可以使用向量表示爲：

J(θ)=(Y−Xθ)T(Y−Xθ)(3)$$\begin{array}{}\text{(3)}& J(\theta )=(Y-X\theta {)}^T(Y-X\theta )\end{array}$$

對θ$\theta$ 求導得到：

∂J(θ)∂θ=2XT(Xθ−Y)(4)$$\begin{array}{}\text{(4)}& \frac{\mathrm{\partial }J(\theta )}{\mathrm{\partial }\theta }=2X^T(X\theta -Y)\end{array}$$

令∂J(θ)∂θ=0$\frac{\mathrm{\partial }J(\theta )}{\mathrm{\partial }\theta }=0$ 得到：

2XT(Xθ−Y)=0XTXθ=XTYθ=(XTX)−1XTY(5)(6)(7)$$\begin{array}{}\text{(5)}& 2X^T(X\theta -Y)=0\text{(6)}& X^{T}X\theta =X^{T}Y\text{(7)}& \theta =(X^{T}X{)}^{-1}{X}^{T}Y\end{array}$$

只有當XTX$X^{T}X$ 爲滿秩矩陣或正定矩陣時，即可以求逆矩陣，我們纔可以通過上述方法求得參數θ$\theta$ 的值。通過這種方法求得的線性迴歸模型爲：

hθ(x)=((XTX)−1XTY)Tx(8)$$\begin{array}{}\text{(8)}& h_{\theta }(x)=((X^{T}X{)}^{-1}{X}^{T}Y{)}^{T}x\end{array}$$

1.2 梯度下降和最小二乘法比較

總體來說，梯度下降實用性更強！

梯度下降	最小二乘法
需要選擇學習率α$\alpha$	不需要
需要多次迭代	一次運算得出
當特徵數量 n 大時也能較好適用	需要計算(XTX)−1$(X^{T}X{)}^{-1}$ ,如果特徵數量 n 較大則運算代價大,因爲矩陣逆的計算時間複雜度爲O(n3)$O(n^3)$ ,通常來說當 n 小於 10000 時還是可以接受的
適用於各種類型的模型	只適用於線性模型，不適合邏輯迴歸模型等其他模型

1.3 實現例子

(待補充－－－－)

---

參考資料：
[1]Andrew course機器學習學習筆記
[2]周志華《機器學習》