SVM解釋：四、線性不可分的情況

之前的博客介紹了在數據爲線性可分的情況下，如何用SVM對數據集訓練，從而得到一個線性分類器，也就是超平面WX+b=0$WX+b=0$ . 但是我已經強調過多次，線性可分的情況有相當的侷限，所以SVM的終極目標還是要解決數據線性不可分的情況。解決這種線性不可分的情況基本的思路有兩種：

• 加入鬆弛變量和懲罰因子，找到相對“最好”超平面，這裏的“最好”可以理解爲儘可能地將數據正確分類；
• 使用核函數，將低維的數據映射到更高維的空間，使得在高維空間中數據是線性可分的，那麼在高維空間使用線性分類模型即可；

本篇博客的全部內容就是介紹這兩種思路如何在數據線性不可分的情況下訓練分類器的。

1. 鬆弛變量和懲罰因子

1.1 定義

所謂線性不可分，說得形象一些，就是“你中有我，或者我中有你”，我們找不到一個超平面，恰好能把兩類數據嚴格地分開。舉個例子，Fig.1(a)中，白色數據元組中有一個點比較“另類”（我用文字標了出來），它跑到人家黑色元組的區域中去了，顯然，如果這個點直接被忽略掉，那麼分類效果是很好的（比如Fig.1(a)中的藍色虛線），但是現在的情況就讓人很難受，因爲我們找不到一個超平面，恰好能把黑白兩類數據分開。

還有一種情況也比較有意思，就是現在數據還是線性可分的，比如Fig.1(b)，但是存在一個“異常點”（SVM中稱之爲outlier），如果忽略它，最佳分離超平面的效果非常好，但是如果按正常的套路訓練的話，我們只能得到一個“差強人意”的結果。如Fig.1(b)所示，有它或沒它，超平面的訓練效果是有很鮮明對比的。

針對上面這兩種情況，最直接的解決思路就是能不能適當的放寬數據點和邊緣側面之間的關係？還記得之前線性可分情況下的約束條件是這樣的：

yi(WXi+b)≥1,i={1,2,…,n}(9)$$\begin{array}{}\text{(9)}& y_i(W{X}_i+b)\ge 1,i=\{1,2,\dots ,n\}\end{array}$$

現在放寬一些，變成下面的形式：

yi(WXi+b)≥1−ξi,i={1,2,…,n}(10)$$\begin{array}{}\text{(10)}& y_i(W{X}_i+b)\ge 1-{\xi }_i,i=\{1,2,\dots ,n\}\end{array}$$

其中ξi${\xi }_i$ 爲元組Xi$X_i$ 對應的鬆弛變量，它實際上是這個元組距離它原本的邊緣所超出的權重距離，也就是Fig.1兩個子圖中黑色虛線的權重長度（權重是W$W$ ）。這樣做的結果相當於是放寬了約束要求。通過在約束條件中加入鬆弛變量，使得一些原本不在相應邊緣外部的點，被“拉”回了相應的側面上，我給出鬆弛變量形式化的定義如下：

定義1-鬆弛變量：指數據元組關於側面的離差的長度。離差有兩種類型：

• 大離差：即某個類的元組直接到超平面的另一側去了，像Fig.1(a)中的異常點，這時有離差的數據被錯誤分類了；
• 小離差：即某個類的元組沒有到超平面的另一側，但是落在了超平面本側的邊緣內，像Fig.1(b)中的outlier，這時有離差的數據未被錯誤分類；

從大小離差的定義，我們也能確定鬆弛變量的取值範圍：大離差ξi≥1${\xi }_i\ge 1$ ；小離差1>ξi>0$1>{\xi }_i>0$ . 當然如果一個元組正確地落在它該在的位置上，那就是沒有離差，即ξi=0${\xi }_i=0$

離差的存在幫助我們在一定的容錯率下獲取最佳分離超平面，但問題在於目標函數中離差的大小如何確定？顯然，如果太小了，分離超平面就計算不出來了，或者只能計算一個“不佳”的分離超平面；而如果太大了，那任何一個超平面都是分類器了，也不行。所以，一定要採取措施，“控制”鬆弛變量。

控制的方法是加入“懲罰因子”。定義懲罰因子之前，我們先定義“軟誤差”：

定義2-軟誤差：指所有數據元組的鬆弛變量的和，∑ni=1ξi$\sum _{i=1}^n{\xi }_i$

定義3-懲罰因子：是一個大於0的係數（記爲C$C$ ），軟誤差乘該係數後，加入目標函數，使之成爲新的目標函數，如下：

min12‖W‖2+C∑i=1nξi(11)$$\begin{array}{}\text{(11)}& min\frac{1}{2}\Vert W{\Vert }^2+C\sum _{i=1}^n{\xi }_i\end{array}$$

其中C$C$ 的取值用來在數據擬合之間找到平衡。顯然，C$C$ 越大，則分類器越不願意分類錯誤，它要按“最正確”的來，那就會得到一個過擬合的分類器；而如果C$C$ 越小，那麼分類器就越“不在乎”錯誤，得到一個過於泛化的分類器，也就是欠擬合了。

1.2 求解新的優化問題

現在，加入鬆弛變量和懲罰因子後，新的優化問題誕生了，它是我在上一篇博客。。。的公式(1)的基礎上加入鬆弛變量和懲罰因子的結果：

min 12‖W‖2+C∑i=1nξis.t. 1−ξi−yi(WXi+b)≤0       ξi≥0(1)$$\begin{array}{}\text{(1)}& \begin{array}{rl}min& \frac{1}{2}\Vert W{\Vert }^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.1-{\xi }_i-y_i(W{X}_i+b)\le 0\\ & {\xi }_i\ge 0\end{array}\end{array}$$

注意，這裏ξi≥0${\xi }_i\ge 0$ 也是約束條件

拉格朗日方程變爲：

L(W,b,α,ξ,C,μ)=12‖W‖2+C∑i=1nξi+∑i=1nαi(1−ξi−yi(WXi+b))−∑i=1nμiξi(12)$$\begin{array}{}\text{(12)}& L(W,b,\alpha ,\xi ,C,\mu )=\frac{1}{2}\Vert W{\Vert }^2+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i(1-{\xi }_i-y_i(W{X}_i+b))-\sum _{i=1}^n{\mu }_i{\xi }_i\end{array}$$

其中，μi${\mu }_i$ 爲新加入的拉格朗日乘子。

得到拉格朗日方程後，就可以進入我們在上一篇博客 SVM解釋：三、線性可分的情況 中解決此類問題的“套路”了。具體地說，

現在的優化問題相當於求解：

p∗=minW,b,ξmaxα,μL(W,b,α,ξ,C,μ)(13)$$\begin{array}{}\text{(13)}& p^{\ast }=\underset{W,b,\xi }{min}\underset{\alpha ,\mu }{max}L(W,b,\alpha ,\xi ,C,\mu )\end{array}$$

轉換成對偶問題：

d∗=maxα,μminW,b,ξL(W,b,α,ξ,C,μ)(14)$$\begin{array}{}\text{(14)}& d^{\ast }=\underset{\alpha ,\mu }{max}\underset{W,b,\xi }{min}L(W,b,\alpha ,\xi ,C,\mu )\end{array}$$

先求解minW,b,ξL(W,b,α,ξ,C,μ)$\underset{W,b,\xi }{min}L(W,b,\alpha ,\xi ,C,\mu )$ ：

∂L∂W=0⇒W=∑i=1nαiyiXTi∂L∂b=0⇒∑i=1nαiyi=0∂L∂ξi=0⇒C−αi−μi=0(2)$$\begin{array}{}\text{(2)}& \begin{array}{rl}& \frac{\mathrm{\partial }L}{\mathrm{\partial }W}=0\Rightarrow W=\sum _{i=1}^n{\alpha }_i{y}_i{X}_i^T\\ & \frac{\mathrm{\partial }L}{\mathrm{\partial }b}=0\Rightarrow \sum _{i=1}^n{\alpha }_i{y}_i=0\\ & \frac{\mathrm{\partial }L}{\mathrm{\partial }{\xi }_i}=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}\end{array}$$

將以上的結果帶入拉格朗日函數，那麼對偶問題d∗$d^{\ast }$ 就是要計算：

maxα,μ∑i=1nαi−12∑i,j=1nαiαjyiyjXTiXj(15)$$\begin{array}{}\text{(15)}& \underset{\alpha ,\mu }{max}\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{X}_i^T{X}_j\end{array}$$

其實這裏的μ$\mu$ 不用考慮了，因爲現在的式子裏沒有μ$\mu$ 存在了。

最後來看看這個對偶問題的約束條件：

• αi≥0${\alpha }_i\ge 0$
• ∑mj=1αiyi=0$\sum _{j=1}^m{\alpha }_i{y}_i=0$
• αi≤C${\alpha }_i\le C$

前兩個條件怎麼來的，上一篇博客中推導過了（可以參考上一篇博客中的公式(3)），至於第3點，那是因爲在上面求偏導的過程中（本篇博客的公式(2)），存在下式：

C−αi−μi=0(16)$$\begin{array}{}\text{(16)}& C-{\alpha }_i-{\mu }_i=0\end{array}$$

綜上，加入鬆弛變量和懲罰因子後的SVM問題最終轉化爲下面的帶約束條件的凸優化問題：

maxα ∑i=1nαi−12∑i,j=1nαiαjyiyjXTiXjs.t. 0≤αi≤C      ∑j=1mαiyi=0(3)$$\begin{array}{}\text{(3)}& \begin{array}{rl}\underset{\alpha }{max}& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{X}_i^T{X}_j\\ & s.t.0\le {\alpha }_i\le C\\ & \sum _{j=1}^m{\alpha }_i{y}_i=0\end{array}\end{array}$$

上面這個優化問題，就是SVM中SMO算法主要要解決的問題。我在下一篇博客 SVM解釋：五、SMO算法 中對SMO算法的介紹全部基於這個優化問題，所以這裏大家注意一下，有個印象。

解得α$\alpha$ 後進一步得到W$W$ 和b$b$ ，最終得到分類器：

f(X)=∑i=1nαiyiXTiX+b(17)$$\begin{array}{}\text{(17)}& f(X)=\sum _{i=1}^n{\alpha }_i{y}_i{X}_i^{T}X+b\end{array}$$

分類器在形式上與沒有加入鬆弛變量和懲罰因子時是一樣的。

1.3 訓練元組的位置分析

最後，我們分析一下訓練元組Xi$X_i$ 在分類器中的位置。上一篇博客中，我最後講到了可以根據αi${\alpha }_i$ 的取值判斷訓練元組是否爲支持向量，再根據支持向量即可計算出分類器WX+b=0$WX+b=0$ 的常數項b$b$ 的值。先來簡單回顧一下當時的分析：

• 如果 αi>0${\alpha }_i>0$ ，那麼此時Xi$X_i$ 是支持向量，滿足yi(WXi+b)=1$y_i(W{X}_i+b)=1$ ；
• 如果 αi=0${\alpha }_i=0$ ，那麼此時Xi$X_i$ 是不是支持向量，滿足yi(WXi+b)≥1$y_i(W{X}_i+b)\ge 1$ ；

與線性可分的情況相比，加入鬆弛變量和懲罰因子後，分析會變得更復雜。具體如下：

我們先看最原始的，公式(1)中的優化問題。當然，其最優解當然要滿足KKT條件（參見我的第2篇博客 SVM解釋：二、SVM的數學基礎），因此根據KKT條件的第三項，可以得到以下結論：

αi(1−ξi−yi(WXi+b))=0μiξ=0(18)$$\begin{array}{}\text{(18)}& \begin{array}{rl}& {\alpha }_i(1-{\xi }_i-y_i(W{X}_i+b))=0\\ & {\mu }_i\xi =0\end{array}\end{array}$$

分下列情況討論：

• 0<αi<C$0<{\alpha }_i<C$ 時：
  因爲αi>0${\alpha }_i>0$ ，所以1−ξi−yi(WXi+b)=0$1-{\xi }_i-y_i(W{X}_i+b)=0$ ；因爲αi+μi=C${\alpha }_i+{\mu }_i=C$ ，且αi<C${\alpha }_i<C$ ，所以μi>0${\mu }_i>0$ ；因爲μiξ=0${\mu }_i\xi =0$ ，所以ξ=0$\xi =0$ ；因爲ξ=0$\xi =0$ ，所以ξ=0$\xi =0$ 且1−ξi−yi(WXi+b)=0$1-{\xi }_i-y_i(W{X}_i+b)=0$ ，所以yi(WXi+b)=1$y_i(W{X}_i+b)=1$ ；

• αi=C${\alpha }_i=C$ 時：
  因爲αi>0${\alpha }_i>0$ ，所以1−ξi−yi(WXi+b)=0$1-{\xi }_i-y_i(W{X}_i+b)=0$ ；因爲αi+μi=C${\alpha }_i+{\mu }_i=C$ 且αi=C${\alpha }_i=C$ ，所以μi=0${\mu }_i=0$ ，ξ≥0$\xi \ge 0$ 且無其他限制；因爲1−ξi−yi(WXi+b)=0$1-{\xi }_i-y_i(W{X}_i+b)=0$ ，所以yi(WXi+b)≤1$y_i(W{X}_i+b)\le 1$ ；

• αi=0${\alpha }_i=0$ 時：
  因爲αi=0${\alpha }_i=0$ 且αi+μi=C${\alpha }_i+{\mu }_i=C$ ，所以μi=C${\mu }_i=C$ ，因爲μiξ=0${\mu }_i\xi =0$ ，所以ξ=0$\xi =0$ ，因爲1−ξi−yi(WXi+b)≤0$1-{\xi }_i-y_i(W{X}_i+b)\le 0$ ，所以yi(WXi+b)≥1$y_i(W{X}_i+b)\ge 1$ ；

綜上，在最優點處，所有樣本必須滿足公式(4)：

⎧⎩⎨⎪⎪if  αi=0,           yi(WXi+b)≥1if  αi=C,          yi(WXi+b)≤1if  0<αi<C,   yi(WXi+b)=1(4)$$\begin{array}{}\text{(4)}& \{\begin{array}{rl}& if{\alpha }_i=0,y_i(W{X}_i+b)\ge 1\\ & if{\alpha }_i=C,y_i(W{X}_i+b)\le 1\\ & if0<{\alpha }_i<C,y_i(W{X}_i+b)=1\end{array}\end{array}$$

由公式(4)，我們還能推測出以下規律：

• 滿足0<αi<C$0<{\alpha }_i<C$ 的樣本點就是支持向量，他們在側面上；
• 滿足αi=0${\alpha }_i=0$ 的樣本點是被正確分類的點，他們在側面以外；
• 滿足αi=C${\alpha }_i=C$ 的樣本點是是未被正確分類的點，且不在側面上（實際上就是可以被離差“拉”到側面上的點）；

總結出這樣的規律是很有用的，我們可以根據優化結果中αi${\alpha }_i$ 的取值確定支持向量，再用支持向量解出W$W$ 和b$b$ ，最終確定一個有容錯的SVM分類器。同時，這裏的公式(4)大家注意一下，我在下一篇博客講解SMO算法中，講到選擇優化變量的時候，也會用到這個公式。

2. 核函數

好了，到現在爲止，我一共用了之前的2篇博客，以及本文的一半講SVM，對於線性可分的情況和線性不可分的情況其實我們已經有所瞭解了。現在終於要介紹SVM的重頭戲“核函數”了。跟它的名字一樣，這一塊的知識也是“核”級別的，它非常重要。

加入鬆弛變量和懲罰因子，使得我們可以解決在訓練數據線性不可分的情況下計算分類器的問題。但是好像還是不那麼令人滿意，因爲它對訓練數據都有一定的容錯率，接下來自然要思考的問題是，存不存在一種方法，能夠學習得到更爲複雜的一個曲面（而不是超平面），從而對於線性不可分數據訓練效果更佳。這就要用到所謂的“核技巧”了，和之前的線性模型不同，它是一種非線性模型。

2.1 核技巧

定義4-核技巧：如果數據線性不可分，則可以對特徵向量進行映射，將他們轉化到更高維的空間，使得數據在高維空間是線性可分的。這種思路被稱爲“核技巧”。

我曾看到過一篇文章，作者對於核技巧有一個非常形象的描述：現在有一堆黑球，白球放在桌面上，線性不可分，所謂核技巧就是一拍桌子，將這些球拍到空中去，在空中我們插入一個板子，將兩類球分開。其實通過這個描述你也大致能總結出非線性分類器學習步驟：

1. 使用一個非線性映射將數據映射到一個特徵空間z$z$ （拍桌子）；
2. 在特徵空間z$z$ 使用線性學習器分類（插板子）；

假設現在有映射函數ϕ()$\varphi ()$ 將數據映射到空間z$z$ ：

X→ϕ(X)(19)$$\begin{array}{}\text{(19)}& X\to \varphi (X)\end{array}$$

根據上一篇博客中的公式(4)，如果在z$z$ 空間中數據是線性可分的，那麼決策超平面的方程是：

f(x)=∑i=1nαiyiϕ(Xi)T+b(20)$$\begin{array}{}\text{(20)}& f(x)=\sum _{i=1}^n{\alpha }_i{y}_i\varphi (X_i{)}^T+b\end{array}$$

自然地，最終的決策規則可以用訓練點和測試點的內積得到：

f(x)=∑i=1nαiyiϕ(Xi)Tϕ(X∗)+b(21)$$\begin{array}{}\text{(21)}& f(x)=\sum _{i=1}^n{\alpha }_i{y}_i\varphi (X_i{)}^T\varphi (X^{\ast })+b\end{array}$$

其中，X∗$X^{\ast }$ 爲測試元組。

想象一下，如果有一種方式可以在原始空間中直接計算映射後的高維空間的向量內積ϕ(Xi)Tϕ(Xj)$\varphi (X_i{)}^T\varphi (X_j)$ ，就不需要把原始空間中的數據映射到新空間中了。那也就是說，可以將上面的兩個步驟融合到一起建立一個非線性的學習器。這樣直接計算法的方法稱爲核函數方法。

形式化地，核函數K(,)$K(,)$ 對於原始空間中的數據元組Xi,Xj$X_i,X_j$ ，有下式成立：

K(Xi,Xj)=ϕ(Xi)Tϕ(Xj)(22)$$\begin{array}{}\text{(22)}& K(X_i,X_j)=\varphi (X_i{)}^T\varphi (X_j)\end{array}$$

2.2 爲什麼要用核函數

在介紹幾種常用的核函數之前，首先明確一個問題：爲什麼SVM的非線性分類模型要用核函數？

我在這裏以July在博文 支持向量機通俗導論 中的例子來說明一下。

Fig.2中，兩類數據以圓環型分佈，那我們當然可以預測，一個合理的決策面也是圓環型的（而不是平面），而且就在這兩類數據之間。

如果以x1,x2$x_1,x_2$ 爲當前這個二維平面的兩個座標的話，二次曲線（圓環也是二次曲線）的方程可以寫成如下形式：

a1x21+a2x22+a3x1+a4x2+a5x1x2+a6=0(23)$$\begin{array}{}\text{(23)}& a_1{x}_1^2+a_2{x}_2^2+a_3{x}_1+a_4{x}_2+a_5{x}_1{x}_2+a_6=0\end{array}$$

但是和之前線性可分的情況下我們構造的超平面WX+b=0$WX+b=0$ 相比，現在這種曲面無法用線性分類模型處理。那我們考慮能不能把原始空間映射到高維空間，再考慮當前這個曲面。方法是構造一個5維空間，空間的每個座標這樣設置：

z1=x21,z2=x22,z3=x1,z4=x2,z5=x1x2(24)$$\begin{array}{}\text{(24)}& z_1=x_1^2,z_2=x_2^2,z_3=x_1,z_4=x_2,z_5=x_1{x}_2\end{array}$$

那麼在新的高維空間中，之前的二次曲線變成了一個超平面：

∑i=15aizi+a6=0(25)$$\begin{array}{}\text{(25)}& \sum _{i=1}^5{a}_i{z}_i+a_6=0\end{array}$$

到這一步之後，似乎直接根據之前講的SVM的線性分類模型直接處理就OK了。但是你會發現，直接這樣做是有問題的，我剛纔對二維空間內的曲面（其實是曲線）進行處理，把一階、二階的座標組合後，映射到了5維空間，那如果對三維空間映射呢？就會映射到一個19維的空間上，這個空間維數的數量級是爆炸式增長的。會給高維空間中線性分類模型的計算造成很大困難。關於這個問題的解釋，July在其博客中說的非常詳細，讀者可自行翻看其博客中的2.2.2節。

這個問題怎麼解決呢？就要用到核函數了。

先觀察一下訓練分類器用到的計算和分類時用到的計算，可以參考上一篇博客中的公式(3)和公式(4)：

• 訓練時：就是解決如下的凸優化問題（這是經過轉換之後最終得到的拉格朗日對偶問題）：
  

  max ∑i=1nαi−12∑i,j=1nαiαjyiyjXTiXjs.t.∑j=1mαiyi=0       αi≥0(26)$$\begin{array}{}\text{(26)}& \begin{array}{rl}max& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{X}_i^T{X}_j\\ & s.t.\sum _{j=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}\end{array}$$

• 分類時，是計算如下函數的正負性：
  

  ∑αiyiXTiXj+b(27)$$\begin{array}{}\text{(27)}& \sum {\alpha }_i{y}_i{X}_i^T{X}_j+b\end{array}$$

不難發現，不論是訓練過程還是分類過程，主要涉及的關於數據的運算都是內積計算。而核函數的作用，就是在不把數據映射到高維空間的前提下（實際上是不顯式地寫出映射後的結果），直接在低維空間中計算映射後向量的內積。綜上，訓練和分類的計算在覈函數的幫助下，可以整理成如下形式：

• 訓練
  

  max ∑i=1nαi−12∑i,j=1nαiαjyiyjK(ϕ(Xi),ϕ(Xj))s.t.∑j=1mαiyi=0       αi≥0(28)$$\begin{array}{}\text{(28)}& \begin{array}{rl}max& \sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(\varphi (X_i),\varphi (X_j))\\ & s.t.\sum _{j=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}\end{array}$$

• 分類
  

  f(Xj)=∑αiyiK(ϕ(Xi),ϕ(Xj))+b(29)$$\begin{array}{}\text{(29)}& f(X_j)=\sum {\alpha }_i{y}_{i}K(\varphi (X_i),\varphi (X_j))+b\end{array}$$

2.3 幾種常見的核函數

對於任意一個映射，我們自己構造出對應的核函數是困難的，因此，一般會從幾種常見的核函數中選擇。常見的核函數大致有4種。我畫了一個表格，展示出了他們的公式：

核函數	公式
線性核	K(X1,X2)=XT1X2$K(X_1,X_2)=X_1^T{X}_2$
多項式核	K(X1,X2)=(XT1X2+1)q$K(X_1,X_2)=(X_1^T{X}_2+1{)}^q$
高斯核（徑向基函數）	K(X1,X2)=exp(−‖X1−X2‖22s2)$K(X_1,X_2)=\exp (-\frac{\Vert X_1-X_2{\Vert }^2}{2s^2})$
sigmoid核（S形函數）	K(X1,X2)=tanh(XT1X2+1)$K(X_1,X_2)=tanh(X_1^T{X}_2+1)$

我簡單說一下多項式核與高斯核：

1. 多項式核：q$q$ 是由用戶選擇的，比如處理上面那兩個圓環型分佈的點集分類，因爲在二維空間中，所以我們可以選擇q=2$q=2$ 。向量X1,X2$X_1,X_2$ 映射到5維空間後，其內積爲：

ϕ(Xi)Tϕ(Xj)=X211X221+X212X222+X11X21+X12X22+X11X21X12X22(30)$$\begin{array}{}\text{(30)}& \varphi (X_i{)}^T\varphi (X_j)=X_{11}^2{X}_{21}^2+X_{12}^2{X}_{22}^2+X_{11}{X}_{21}+X_{12}{X}_{22}+X_{11}{X}_{21}{X}_{12}{X}_{22}\end{array}$$

而如果我們選擇q=2$q=2$ 時的多項式核函數K(X1,X2)=(XT1X2+1)2$K(X_1,X_2)=(X_1^T{X}_2+1{)}^2$ ，計算結果是這樣的：

K(X1,X2)=X211X221+X212X222+2X11X21+2X12X22+2X11X21X12X22+1(31)$$\begin{array}{}\text{(31)}& K(X_1,X_2)=X_{11}^2{X}_{21}^2+X_{12}^2{X}_{22}^2+2X_{11}{X}_{21}+2X_{12}{X}_{22}+2X_{11}{X}_{21}{X}_{12}{X}_{22}+1\end{array}$$

你發現他倆個有點像，但又不太一樣。實際上，只要把新的5維空間的幾個維度縮放一下，再加上一個常數維，就是一樣的了。也就是說，核函數計算的向量內積其實是原始空間中的向量被映射到下面的空間中的內積：

ϕ(x1,x2)={x21,x22,2‾√x1,2‾√x2,2‾√x1x2,1}(32)$$\begin{array}{}\text{(32)}& \varphi (x_1,x_2)=\{x_1^2,x_2^2,\sqrt{2}{x}_1,\sqrt{2}{x}_2,\sqrt{2}{x}_1{x}_2,1\}\end{array}$$

從核函數的公式你能清晰地感受到核函數的神奇，它就是直接在原始空間計算，達到在高維空間計算的效果。需要說明的是，當q=1$q=1$ 時，多項式核就是線性核。

2. 高斯核：參數s$s$ 由用戶設定，這個參數s$s$ 實際上是平衡分類計算的因子。具體地說，如果s$s$ 太大，那相當於高斯核只是將原始空間映射到一個不是那麼高維的新空間中，不一定能執行線性分類；而如果s$s$ 太小，理論上可以將任意的數據映射爲線性可分的，但是這樣一來就可能存在過擬合的問題。不過，只要參數得當，高斯核可以非常完美的解決線性不可分數據的SVM分類問題，所以也是應用最爲廣泛的。關於高斯核函數映射，有張非常形象的示意圖，如下：

大多時候，面對線性不可分的數據，我們先用核函數將數據映射到高維空間中（其實並非真正映射，只是可以計算出映射後向量的內積），再通過加入鬆弛變量和懲罰因子讓映射後的數據在線性模型下求解。這樣，線性不可分情況下完整的SVM就展現在我們眼前了，它就是求解下面的凸優化問題：

min 12∑i,j=1nαiαjyiyjK(Xi,Xj)−∑i=1nαis.t. 0≤αi≤C      ∑j=1mαiyi=0(5)$$\begin{array}{}\text{(5)}& \begin{array}{rl}min& \frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j)-\sum _{i=1}^n{\alpha }_i\\ & s.t.0\le {\alpha }_i\le C\\ & \sum _{j=1}^m{\alpha }_i{y}_i=0\end{array}\end{array}$$

上面的公式(5)其實是上一篇博客中的公式(4)在線性不可分的情況下，應用核函數，加入鬆弛變量和懲罰因子後的“終極”優化問題。

注意，因爲這個優化問題從結構上比上一篇博客中的公式(3)要更復雜，但是他們的解法是一致的，所以在下一篇博客講解SMO算法時，我會以這個優化問題舉例，因爲難的解決了，簡單的不也就容易了嗎。

3. SVM分類的效果

至此，如何處理數據線性不可分的情況下的SVM分類就算是基本說完了。最後我們看一個例子，這也是July在博文中寫到的，我覺得很形象，直接抄在底下：

“假設現在你是一個農場主，圈養了一批羊羣，但爲預防狼羣襲擊羊羣，你需要搭建一個籬笆來把羊羣圍起來。但是籬笆應該建在哪裏呢？你很可能需要依據牛羣和狼羣的位置建立一個“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個很完美的解決方案。”

4. 損失函數

其實，任何監督學習最終的目的都是要最小化預測結果與真實結果之間的誤差。這種誤差一般用“風險”來評估。很顯然，風險對於一個監督學習算法來說是很重要的，它所評估的誤差大小直接說明了算法的好壞。監督學習系統中有結構化風險和經驗風險兩種。既然說到了SVM的損失函數，就一併將兩種風險做個簡要介紹。

設決策函數爲f() ，對於給定的輸入X ，它的預測結果（計算得到的類標記或者預測數值）爲f(X) ，真實結果爲Y ，那麼常用的損失函數有如下幾種：

• 0-1損失函數：
  L(Y,f(X))={1,Y≠f(X)0,Y=f(X)

• 平方損失函數：
  L(Y,f(X))=(Y−f(X))2

• 絕對損失函數：
  L(Y,f(X))=|Y−f(X)|

• 對數損失函數：
  L(Y,p(Y|X))=−logp(Y|X)

如果給定一個訓練集{(X1,Y1),(X2,Y2),…,(Xn,Yn)} 和損失函數L(Y,f(X)) ，則經驗風險被定義爲模型f(X) 關於訓練集的平均損失：

Remp(f)=1n∑i=1nL(Yi,f(Xi))(37)$$\begin{array}{}\text{(37)}& R_{emp}(f)=\frac{1}{n}\sum _{i=1}^{n}L(Y_i,f(X_i))\end{array}$$

所以，如果按照經驗風險最小的策略設計學習模型，那麼實際上是求解下面的優化問題：

minf∈F1n∑i=1nL(Yi,f(Xi))(38)$$\begin{array}{}\text{(38)}& \underset{f\in F}{min}\frac{1}{n}\sum _{i=1}^{n}L(Y_i,f(X_i))\end{array}$$

經驗風險很直觀，容易理解。但是有個缺點就是當樣本容量較小時，容易產生過擬合。而依據結構風險的設計策略則可以避免這個問題。

結構風險在經驗風險的基礎上加入表示模型複雜度的正則化項或罰項，定義如下：

Rsrm(f)=1n∑i=1nL(Yi,f(Xi))+λJ(f)(39)$$\begin{array}{}\text{(39)}& R_{srm}(f)=\frac{1}{n}\sum _{i=1}^{n}L(Y_i,f(X_i))+\lambda J(f)\end{array}$$

其中J(f)$J(f)$ 爲模型複雜度，模型越複雜，J(f)$J(f)$ 越大，反之，J(f)$J(f)$ 越小。λ≥0$\lambda \ge 0$ 爲懲罰係數。顯然，罰項的存在控制了模型的複雜度，能夠解決過擬合的問題。按結構風險最小的策略設計的學習模型實際上是求解下面的優化問題：

minf∈F1n∑i=1nL(Yi,f(Xi))+λJ(f)(40)$$\begin{array}{}\text{(40)}& \underset{f\in F}{min}\frac{1}{n}\sum _{i=1}^{n}L(Y_i,f(X_i))+\lambda J(f)\end{array}$$

設計SVM時，我們加入鬆弛變量其實就是一種結構風險最小的策略，使得分類器不會過擬合。如果嘗試從損失函數的角度理解SVM，邏輯迴歸(LR)，提升(Boosting)等算法的話，可能會有不同的收穫。

5. 結語

這篇博文和之前的兩篇放在一起，我已經解釋了SVM中80%的內容，雖然很多數學方面的細節確實不盡詳細，好在如果只是掌握SVM的基本思想的話，這點內容還算夠。那剩下20%就是要介紹上面說的，解決對偶問題時需要用到的SMO算法了。SMO算法有點複雜，所佔篇幅也不小，所以單獨列在整個SVM學習筆記的最後（即我關於SVM的最後一篇博客），以方便大家在前面更容易掌握SVM的整體邏輯。