《機器學習基石》9-Linear Regression

這一節主要介紹線性迴歸算法。

Linear Regression Problem

對於輸出空間 Y=R$\mathcal{Y}=\mathbb{R}$ 的一類問題，一個比較簡單的想法就是：將 Linear Classification 的決策函數中的 sign 函數去掉，使用各種特徵的加權結果來表示 y$y$

y≈∑i=0dwixi=wTx$$y\approx \sum _{i=0}^d{w}_i{x}_i={\mathbf{\text{w}}}^T\mathbf{\text{x}}$$

這就是線性迴歸算法，它的假設空間爲

h(x)=wTx$$h(\mathbf{\text{x}})={\mathbf{\text{w}}}^T\mathbf{\text{x}}$$

線性迴歸的目標是尋找一條直線 （R2${\mathbb{R}}^2$ ） 或者一個平面 （R3${\mathbb{R}}^3$ ）或者超平面（Rn${\mathbb{R}}^n$ ），使得誤差最小，常用的誤差函數是平方誤差

Ein(w)=1N∑n=1N(h(xn)−yn)2$$E_{in}(\mathbf{\text{w}})=\frac{1}{N}\sum _{n=1}^N{\left(h({\mathbf{\text{x}}}_n)-y_n\right)}^2$$

Eout(w)=ϵ(x,y)∼P(wTx−y)$$E_{out}(\mathbf{\text{w}})=\underset{(x,y)\sim P}{ϵ}({\mathbf{\text{w}}}^T\mathbf{\text{x}}-y)$$

Linear Regression Algorithm

將 Ein$E_{in}$ 寫成矩陣形式

Ein(w)=1N∑n=1N(h(xn)−yn)2=1N∥∥∥xT1w−y1xT2w−y2⋅⋅⋅xTNw−yN∥∥∥2=1N∥Xw−y∥2$$\begin{array}{rl}{E}_{in}(\mathbf{\text{w}})& =\frac{1}{N}\sum _{n=1}^N{\left(h({\mathbf{\text{x}}}_n)-y_n\right)}^2\\ & =\frac{1}{N}\Vert \begin{array}{c}{\mathbf{\text{x}}}_1^T\mathbf{\text{w}}-y_1\\ {\mathbf{\text{x}}}_2^T\mathbf{\text{w}}-y_2\\ \cdot \cdot \cdot \\ {\mathbf{\text{x}}}_N^T\mathbf{\text{w}}-y_N\end{array}{\Vert }^2\\ & =\frac{1}{N}\Vert X\mathbf{\text{w}}-\mathbf{\text{y}}{\Vert }^2\end{array}$$

其中

X=[xT1,1xT2,1⋅⋅⋅xTN,1]∈RN×(d+1)$$X=[\begin{array}{c}{x}_1^T,1\\ x_2^T,1\\ \cdot \cdot \cdot \\ x_N^T,1\end{array}]\in {\mathbb{R}}^{N\times (d+1)}$$

w∈R(d+1)×1$$\mathbf{\text{w}}\in {\mathbb{R}}^{(d+1)\times 1}$$

y∈RN×1$$\mathbf{\text{y}}\in {\mathbb{R}}^{N\times 1}$$

我們的目標是找到一個 w$\mathbf{\text{w}}$ ，使得 Ein(w)$E_{in}(\mathbf{\text{w}})$ 儘可能小。因此，將 Ein(w)$E_{in}(\mathbf{\text{w}})$ 對 w$\mathbf{\text{w}}$ 求導，得到：

∇Ein(w)=2NXT(Xw−y)$$\mathrm{\nabla }{E}_{in}(\mathbf{\text{w}})=\frac{2}{N}{X}^T(X\mathbf{\text{w}}-\mathbf{\text{y}})$$

令∇Ein(w)=0$\mathrm{\nabla }{E}_{in}(\mathbf{\text{w}})=0$ ，得到 w$\mathbf{\text{w}}$ 的最優解

wLIN=(XTX)−1XTy=X†y$${\mathbf{\text{w}}}_{\text{LIN}}=(X^{T}X{)}^{-1}{X}^T\mathbf{\text{y}}=X^{†}\mathbf{\text{y}}$$

其中

X†=(XTX)−1XT$$X^{†}=(X^{T}X{)}^{-1}{X}^T$$

稱爲矩陣 X$X$ 的僞逆，於是

h(x)=wTLINx$$h(\mathbf{\text{x}})={\mathbf{\text{w}}}_{\text{LIN}}^T\mathbf{\text{x}}$$

將上面做一個小結，得到 Linear Regression 算法的流程如下：

Generalization Issue

下面我們來分析一下 Linear Regression 的 Ein$E_{in}$

Ein(wLIN)=1N||y−y^||2=1N||y−XX†y||2=1N||(I−H)y||2$$\begin{array}{rl}{E}_{in}(w_{LIN})& =\frac{1}{N}||y-\hat{y}|{|}^2\\ & =\frac{1}{N}||y-X{X}^{†}y|{|}^2\\ & =\frac{1}{N}||(I-H)y|{|}^2\end{array}$$

其中 H=XX†$H=X{X}^{†}$ 是投影矩陣，把 y$y$ 投影到 X$X$ 的 d+1$d+1$ 個向量構成的平面上，H$H$ 有如下的性質：

• 對稱性 H=HT$H=H^T$
• 冪等性 H2=H$H^2=H$
• 半正定性 λi≥0${\lambda }_i\ge 0$
• trace(I−H)=N−(d+1)$trace(I-H)=N-(d+1)$

假設 y=f(X)+noise,f(x)∈span$y=f(X)+\text{noise},f(x)\in \text{span}$ ，那麼如上圖所示，有

Ein(wLIN)=1N||(I−H)y||2=1N||(I−H)noise||2=1Ntrace(I−H)||noise||2=1N(N−(d+1))||noise||2$$\begin{array}{rl}{E}_{in}(w_{LIN})& =\frac{1}{N}||(I-H)y|{|}^2\\ & =\frac{1}{N}||(I-H)noise|{|}^2\\ & =\frac{1}{N}trace(I-H)||noise|{|}^2\\ & =\frac{1}{N}(N-(d+1))||noise|{|}^2\end{array}$$

得到：

Ein(wLIN)=||noise||2⋅(1−d+1N)$$E_{in}(w_{LIN})=||noise|{|}^2\cdot (1-\frac{d+1}{N})$$

Eout(wLIN)=||noise||2⋅(1+d+1N)$$E_{out}(w_{LIN})=||noise|{|}^2\cdot (1+\frac{d+1}{N})$$

兩者最終都向 σ2${\sigma }^2$ (noise level)收斂，差距是 2(d+1)N$\frac{2(d+1)}{N}$ ，因此說明算法是可行的。

Linear Regression for Binary Classification

對比一下 Linear Classification 與 Linear Regression：

• Linear Regression
  
  • 用於分類問題
  • Y={+1,−1}$\mathcal{Y}=\{+1,-1\}$
  • h(x)=sign(wTx)$h(\mathbf{\text{x}})=\text{sign}({\mathbf{\text{w}}}^T\mathbf{\text{x}})$
  • NP-hard，難於求解
• Linear Regression
  
  • 用於迴歸問題
  • Y=R$\mathcal{Y}=\mathbb{R}$
  • h(x)=wTx$h(\mathbf{\text{x}})={\mathbf{\text{w}}}^T\mathbf{\text{x}}$
  • 易於求解

因爲

err0/1=[[sign(wTx)≠y]]≤errsqr=(wTx−y)2$${\text{err}}_{0/1}=[[\text{sign}({\mathbf{\text{w}}}^T\mathbf{\text{x}})\ne y]]\le {\text{err}}_{\text{sqr}}=({\mathbf{\text{w}}}^T\mathbf{\text{x}}-y{)}^2$$

所以可以將 Linear Regression 用於分類問題上：

1. run Linear Regression on binary classification data D$\mathcal{D}$
2. return g(x)=sign(wTLINx)$g(\mathbf{\text{x}})=\text{sign}({\mathbf{\text{w}}}_{\text{LIN}}^T\mathbf{\text{x}})$

以上便是 Linear Regression 的內容。