支持向量机数学证明与推导（SVM）

支持向量机（SVM）

@(数据挖掘)[svm]

---

一、线性可分支持向量机和硬间隔最大化

1. 名词解释

   线性可分：就是指给定一组数据集T={(x1,y1),(x2,y2),⋯,(xN,yN)}$T=\left\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\right\}$ ，其中，xi∈χ=Rn,yi∈γ={+1,−1},i=1,2,⋯,N$x_i\in \chi =R^n,y_i\in \gamma =\left\{+1,-1\right\},i=1,2,\cdots ,N$ ，如果存在某个超平面S，w⋅x+b=0$w\cdot x+b=0$ ，能够将整个数据集的正实例和负实例完全正确地划分到超平面的两侧，则称这个数据集T是线性可分数据集（linearly separable data set）；否则就是线性不可分的。
   硬间隔最大化，也就是线性可分支持向量机，在线性可分数据集上利用间隔最大化求最优分离超平面的过程

2. 首先从点到直线的距离发散到高维易知，|w⋅x+b|$\left|w\cdot x+b\right|$ 能够相对的表示点x$x$ 到超平面的距离，而w⋅x+b$w\cdot x+b$ 的符号与类标记y$y$ 的符号是否一致能够表示分类是否正确，所以：
   

   γi^=yi(w⋅x+b)$$\widehat{{\gamma }_i}=y_i(w\cdot x+b)$$
   
   可以用来表示数据集中每个点分类正确性和到分割超平面距离（也可以称为分类置信度大小），也叫超平面(w,b)$(w,b)$ 关于样本点(xi,yi)$(x_i,y_i)$ 的函数间隔。
   我们可以进一步定义超平面关于整个数据集T的函数间隔为数据集T中所有点到超平面函数间隔的最小值：
   
   γ̂ =mini=1,⋯,Nγi^$$\hat{\gamma }=\underset{i=1,\cdots ,N}{min}\widehat{{\gamma }_i}$$
   
   但是可以发现，我们同时按比例增大w$w$ 和b$b$ ，超平面仍然是w⋅x+b$w\cdot x+b$ 没有变，但是函数间隔却同样按比例变化了，所以我们对分离超平面的法向量w$w$ 加了约束，使得‖w‖=1$\Vert w\Vert =1$ ，也就是间隔值不会改变，这时函数间隔变成了几何间隔，记做：
   
   γi=yi(w‖w‖⋅x+b‖w‖)$${\gamma }_i=y_i(\frac{w}{\Vert w\Vert }\cdot x+\frac{b}{\Vert w\Vert })$$
   
   则同理数据集到超平面的几何距离为：
   
   γ=mini=1,⋯,Nγi$$\gamma =\underset{i=1,\cdots ,N}{min}{\gamma }_i$$
3. 进一步，我们的线性可分支持向量机就变成了一个约束最优化问题：
   
   maxw,bγ$$\underset{w,b}{max}\gamma$$
   
   
   s.t.yi(w‖w‖⋅x+b‖w‖)⩾γ,i=1,2,⋯,N$$s.t.y_i(\frac{w}{\Vert w\Vert }\cdot x+\frac{b}{\Vert w\Vert })⩾\gamma ,i=1,2,\cdots ,N$$
   
   即是最大化几何间隔的问题，接着根据函数间隔与几何间隔的关系，我们易得：
   
   maxw,bγ̂ ‖w‖$$\underset{w,b}{max}\frac{\hat{\gamma }}{\Vert w\Vert }$$
   
   
   s.t.yi(w⋅x+b)⩾γ̂ ,i=1,2,⋯,N$$s.t.y_i(w\cdot x+b)⩾\hat{\gamma },i=1,2,\cdots ,N$$
   
   然后我们可以看到函数间隔γ̂ $\hat{\gamma }$ 的取值并不改变上述最优化问题的解，所以我们可以取γ̂ =1$\hat{\gamma }=1$ ，带入上式，再通过简单变换，将最大化问题变成最小化问题，得到：
   
   minw,b12‖w‖2$$\underset{w,b}{min}\frac{1}{2}{\Vert w\Vert }^2$$
   
   
   s.t.yi(w⋅x+b)−1⩾0,i=1,2,⋯,N$$s.t.y_i(w\cdot x+b)-1⩾0,i=1,2,\cdots ,N$$
   
   而上述两式就是我们最终的线性可分支持向量机学习算法
   而满足条件的最优w,b$w,b$ 就构成我们的分离超平面：
   
   w∗⋅x+b∗=0$$w^{\ast }\cdot x+b^{\ast }=0$$
   
   分类决策函数为：
   
   f(x)=sign(w∗⋅x+b∗)$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

二、线性可分支持向量机的对偶算法（应用拉格朗日对偶，简化原始优化问题为求解对偶问题）

1. 为了上述线性可分支持向量机的最优化问题求解更简单，我们对上述最优化问题应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。也叫线性可分支持向量机的对偶算法。
   优点：

   • 对偶问题的解通常更容易求得
   • 自然引入核函数技巧，进而推广到非线性分类问题上

2. 证明过程这里不再说明，主要就是为每个样本引入一个拉格朗日乘子αi${\alpha }_i$ ，使得原始问题等价于一个极大极小值问题，然后将其中求极小值部分先用求偏导方法得到w,b$w,b$ 的极值关于αi${\alpha }_i$ 的表示方法，带入原式，从而去掉求关于w,b$w,b$ 的极大值问题，最后变成单纯的求关于αi${\alpha }_i$ 的极小值问题。

3. 具体算法如下：

   • 下式中的αi${\alpha }_i$ 为引入的拉格朗日乘子，N为样本数
     
     minα12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi$$\underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$
     
     
     s.t.∑i=1Nαiyi=0$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
     
     
     αi≥0,i=1,2,⋯,N$${\alpha }_i\ge 0,i=1,2,\cdots ,N$$
     
     求得最优解α∗=(α∗1,α∗2,⋯,α∗N)T${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ .
   • 在计算
     
     w∗=∑i=1Nα∗iyixi$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
     
     选择一个α∗j>0${\alpha }_j^{\ast }>0$ ， 下式中xj,yj$x_j,y_j$ 就是该正乘子对应的样本特征向量和标签
     
     b∗=yj−∑i=1Nα∗iyi(xi⋅xj)$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
   • 从而易知超平面为：
     
     w∗⋅x+b∗=0$$w^{\ast }\cdot x+b^{\ast }=0$$
     
     分类决策函数为：
     
     f(x)=sign(w∗⋅x+b∗)$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

需要注意的是，从原始问题到对偶问题的关系中，我们容易看出，训练集中对应α∗i>0${\alpha }_i^{\ast }>0$ 的样本点(xi,yi)$(x_i,y_i)$ 为支持向量

三、线性支持向量机与软间隔最大化

1. 之前我们提到线性可分支持向量机是针对数据集线性可分的情况下得到的，但是实际情况中大部分的数据集是线性不可分的，这时我们就要修改硬间隔最大化为软间隔最大化。

2. 线性不可分，其实说白了就是有些样本(xi,yi)$(x_i,y_i)$ 不能满足函数间隔大于等于1的约束条件，所以自然我们想到放松约束条件，为每个样本引入一个松弛变量ξi≥0${\xi }_i\ge 0$ ，是的约束条件的函数间隔加上松弛变量大于等于1，则约束变成了：
   

   yi(w⋅xi+b)≥1−ξi$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$
   
   同时，对于松弛变量，我们要在原目标函数加入一个惩罚项，则变为：
   
   12‖w‖2+C∑i−1Nξi$$\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i-1}^N{\xi }_i$$
   
   这里，C>0$C>0$ 成为惩罚参数，可以看出C越大队伍分类惩罚越大，C越小对误分类惩罚变小， 上式其实有两个作用：12‖w‖2$\frac{1}{2}{\Vert w\Vert }^2$ 尽量小即间隔尽量大，但同时又要让误分类的个数尽量少，这是个trade-off问题，由C控制平衡

3. 所以这时我们的问题线性支持向量机变成如下凸二次规划问题：
   

   minw,b,ξ12‖w‖2+C∑i−1Nξi$$\underset{w,b,\xi }{min}\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i-1}^N{\xi }_i$$
   
   
   s.t.yi(w⋅xi+b)≥1−ξi,i=1,2,⋯,N$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$
   
   
   ξi≥0,i=1,2,⋯,N$${\xi }_i\ge 0,i=1,2,\cdots ,N$$

四、线性支持向量机的对偶算法

1. 证明过程完全类似于线性可分支持向量机的对偶算法，这里不再赘述。
2. 对偶算法为：
   
   • 下式中的αi${\alpha }_i$ 为引入的拉格朗日乘子，N为样本数
     
     minα12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi$$\underset{\alpha }{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$
     
     
     s.t.∑i=1Nαiyi=0$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
     
     
     0≤αi≤C,i=1,2,⋯,N$$0\le {\alpha }_i\le C,i=1,2,\cdots ,N$$
     
     求得最优解α∗=(α∗1,α∗2,⋯,α∗N)T${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }{)}^T$ .
   • 在计算
     
     w∗=∑i=1Nα∗iyixi$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
     
     选择一个0<α∗j<C$0<{\alpha }_j^{\ast }<C$ ， 下式中xj,yj$x_j,y_j$ 就是该乘子对应的样本特征向量和标签
     
     b∗=yj−∑i=1Nα∗iyi(xi⋅xj)$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
   • 从而易知超平面为：
     
     w∗⋅x+b∗=0$$w^{\ast }\cdot x+b^{\ast }=0$$
     
     分类决策函数为：
     
     f(x)=sign(w∗⋅x+b∗)$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

需要注意的是，由于这里的b的最优解肯定不止一个，所以往往取所有符合条件的样本点上的平均b值
这里的支持向量定义更复杂一点：
- 若0<α∗i<C,ξi=0$0<{\alpha }_i^{\ast }<C,{\xi }_i=0$ ，则支持向量刚好在分类间隔边界上
- 若α∗i=C,0<ξi<1${\alpha }_i^{\ast }=C,0<{\xi }_i<1$ ，则分类正确，且支持向量在分类边界与分离超平面之间
- 若α∗i=C,ξ=1${\alpha }_i^{\ast }=C,\xi =1$ ，则支持向量刚好在分离超平面上
- 若α∗i=C,ξ>1${\alpha }_i^{\ast }=C,\xi >1$ ，则支持向量在分离超平面误分类一侧

五、线性支持向量机的另外一种合理解释

1. 合页损失函数：
   
   我们的线性支持向量机可以看成是最小化一个包含和也损失函数的目标函数：
   
   ∑i=1N[1−yi(w⋅xi+b)]++λ‖w‖2$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda {\Vert w\Vert }^2$$
   
   
   [z]+={z0 z>0 z≤0$$[z{]}_{+}=\{\begin{array}{ll}z& z>0\\ 0& z\le 0\end{array}$$
   
   这个损失函数第一项就是一个关于函数间隔的合页函数，只有当函数间隔y(w⋅x+b)$y(w\cdot x+b)$ 大于1的时候损失为0，否则就是1−y(w⋅x+b)$1-y(w\cdot x+b)$ 。
   原始线性支持向量机问题为：
   
   minw,b,ξ12‖w‖2+C∑i−1Nξi$$\underset{w,b,\xi }{min}\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i-1}^N{\xi }_i$$
   
   
   s.t.yi(w⋅xi+b)≥1−ξi,i=1,2,⋯,N$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$
   
   
   ξi≥0,i=1,2,⋯,N$${\xi }_i\ge 0,i=1,2,\cdots ,N$$
   
   而我们很容易证明原始线性支持向量机问题等价于最优化问题
   
   minw,b∑i=1N[1−yi(w⋅xi+b)]++λ‖w‖2$$\underset{w,b}{min}\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda {\Vert w\Vert }^2$$
   
   证明过程大致是令[1−yi(w⋅xi+b)]+=ξi$[1-y_i(w\cdot x_i+b){]}_{+}={\xi }_i$ ，则易知ξi≥0${\xi }_i\ge 0$ ，符合原始约束2，通过分析也易得yi(w⋅xi+b)≥1−ξi$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$ ，此时元最优化问题变成：
   
   minw,b∑i=1Nξi+λ‖w‖2$$\underset{w,b}{min}\sum _{i=1}^N{\xi }_i+\lambda {\Vert w\Vert }^2$$
   
   取λ=12C$\lambda =\frac{1}{2C}$ ，则
   
   minw,b1C(12‖w‖2+C∑i=1Nξi)$$\underset{w,b}{min}\frac{1}{C}(\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i)$$
   
   所以得证与原始线性支持向量机问题等价

六、核技巧

1. 其实核技巧核心思想就是：当前数据集的输入特征所在高维空间无法被线性超平面分隔，那么我们就通过一个非线性变换，把输入特征空间转换到另一个特征空间，使得我们在原始特征空间必须用超曲面分离的数据集，在转换后可以用对应的超平面完美分隔。
2. 而核函数就代表这种非线性变换函数，让我们非线性可分的数据集通过转换可以变成线性可分的，从而简化模型学习，只需要用线性支持向量机就可以对数据进行模型的学习。
3. 常用的核函数有多项式核函数、高斯核函数、字符串核函数

注：本文参考李航的《统计学习方法》