笔记(总结)-SVM(支持向量机)的理解-1

SVM即支持向量机作为神经网络复兴前的最强大模型，建模和推导有着严密的数学推导作为基础，在训练完成后计算速度也较快，得到了广泛的应用。本文先阐述SVM的基本问题和推导过程，再引入软间隔的SVM，最后引入核函数和求解方法。

---

问题引入

考虑简单的二分类问题，我们想找一个“最好”的超平面来分隔两类样本。可以看到，在样本点线性可分的情况下，能够找到多个超平面。但其中黑色超平面直观上来看是最合理的，所有样本点到黑色超平面的距离都比较远。新来一个样本时，由于噪声或训练集局限性（采样）等因素，新样本可能更加接近超平面，导致分类错误，而黑色超平面受的影响最小，因为所有样本到它的距离都比较远，泛化能力最强。

样本空间中，超平面方程如下：

wTx+b=0$w^{T}x+b=0$

样本空间中任意一点x0$x_0$ 到超平面的距离为：

r=|wTx0+b|||w||$r=\frac{|w^T{x}_0+b|}{||w||}$

如何描述这个“最好”的超平面？我们引入两条“间隔”超平面作为“楚河汉界”，现在我们的目标变为：在满足所有样本点位于边界外的基础上（分类正确），使“楚河汉界”最宽（泛化能力最强）。

我们取两条间隔线为 wTx+b=±k$w^{T}x+b=\pm k$ ，在任意间隔线上取一点，到另一间隔线的距离即为“楚河汉界”宽度，等于d=2k||w||$d=\frac{2k}{||w||}$ ，此时我们的目标变为：

max d$maxd$

s.t. wTx+b≥k, y=1$s.t.w^{T}x+b\ge k,y=1$

wTx+b≤−k, y=−1$w^{T}x+b\le -k,y=-1$

由于目标为最大间隔，而k$k$ 相当于衡量宽度的一个尺度，取不同尺度只会改变目标函数的优化程度，为了之后模型推导的方便，取k=1$k=1$ 。目标等价变为：

min 12||w||2$min\frac{1}{2}{||w||}^2$

s.t. yi(wTx+b)≥1, ∀xi$s.t.y_i(w^{T}x+b)\ge 1,\mathrm{\forall }{x}_i$

在该问题中，约束条件为仿射函数，为凸二次规划问题，可以直接求解。但推导得到等价的对偶问题后，可以更高效地求解。

---

拉格朗日乘数法与对偶问题

不失一般性，定义原问题p∗$p^{\ast }$ 如下:

min f(w)$minf(w)$

s.t.gi(w)≤0$s.t.g_i(w)\le 0$

构造拉格朗日函数：

L(w,α)=f(w)+∑iαigi(w)$L(w,\alpha )=f(w)+\sum _i{\alpha }_i{g}_i(w)$

定义：

θp(w)=maxαi≥0L(w,α)${\theta }_p(w)=\underset{{\alpha }_i\ge 0}{max}L(w,\alpha )$

有：

θp(w)={f(w)+∞限制满足限制不满足$${\theta }_p(w)=\{\begin{array}{ll}f(w)& 限制满足\\ +\mathrm{\infty }& 限制不满足\end{array}$$

在αi≥0${\alpha }_i\ge 0$ 的前提下，若不满足gi(w)≤0$g_i(w)\le 0$ ，可取不满足的约束，取对应αi${\alpha }_i$ 为无穷，则函数为无穷。此时原问题p∗$p^{\ast }$ 的等价表述为：

min f(w)=min θp(w)=minmaxαi≥0L(w,α) 即为p∗$minf(w)=min{\theta }_p(w)=min\underset{{\alpha }_i\ge 0}{max}L(w,\alpha )即为p^{\ast }$

得到对偶问题d∗$d^{\ast }$ 为：

maxαi≥0minL(w,α)=maxαi≥0θD(w) 令为d∗其中 θD(w)=minL(w,α)$$\begin{gathered} \underset{{\alpha }_i\ge 0}{max}minL(w,\alpha )=\underset{{\alpha }_i\ge 0}{max}{\theta }_D(w)令为d^{\ast } \\ 其中{\theta }_D(w)=minL(w,\alpha ) \end{gathered}$$

当满足KKT条件时：

⎧⎩⎨⎪⎪αi≥0gi(w)≤0αigi(w)=0$$\{\begin{array}{l}{\alpha }_i\ge 0\\ g_i(w)\le 0\\ {\alpha }_i{g}_i(w)=0\end{array}$$

原问题和对偶问题有相同的解。

---

SVM对偶问题

回到SVM原问题p∗$p^{\ast }$ :

min 12||w||2$min\frac{1}{2}{||w||}^2$

s.t. yi(wTx+b)≥1, ∀xi$s.t.y_i(w^{T}x+b)\ge 1,\mathrm{\forall }{x}_i$

构造拉格朗日算子，显然有：

f(w)=12||w||2$f(w)=\frac{1}{2}||w|{|}^2$

gi(w)=1−yi(wTxi+b)≤0$g_i(w)=1-y_i(w^T{x}_i+b)\le 0$

L(w,α)=f(w)+∑iαigi(w)$L(w,\alpha )=f(w)+\sum _i{\alpha }_i{g}_i(w)$

通过解对偶问题来解原问题

maxαi≥0minL(w,α)=maxαi≥0θD(w) 其中 θD(w)=minw,bL(w,α)$$\begin{gathered} \underset{{\alpha }_i\ge 0}{max}minL(w,\alpha )=\underset{{\alpha }_i\ge 0}{max}{\theta }_D(w) \\ 其中{\theta }_D(w)=\underset{w,b}{min}L(w,\alpha ) \end{gathered}$$

对于L(w,α)$L(w,\alpha )$ ，极值在偏导为0处取到(注意此时L只是关于w和b的函数$L只是关于w和b的函数$ )，令：

∂L∂w=0, ∂L∂b=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }w}=0,\frac{\mathrm{\partial }L}{\mathrm{\partial }b}=0$

得到：

w=∑iαiyixi, ∑iαiyi=0$w=\sum _i{\alpha }_i{y}_i{x}_i,\sum _i{\alpha }_i{y}_i=0$

将w$w$ 代回L$L$ ，得到：

minw,bL=∑iαi−12∑i∑jαiαjyiyjxTixj, 记为W(α)$\underset{w,b}{min}L=\sum _i{\alpha }_i-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j,记为W(\alpha )$

可以看到L$L$ 只是关于α$\alpha$ 的函数，对偶问题即为：

d∗=maxW(α)$d^{\ast }=maxW(\alpha )$

s.t. αi≥0, ∑iαiyi=0$s.t.{\alpha }_i\ge 0,\sum _i{\alpha }_i{y}_i=0$

此时回过头来，我们看KKT条件，易得若αi>0${\alpha }_i>0$ ，则有gi(w)=0$g_i(w)=0$ ，即yi(wTxi+b)=1$y_i(w^T{x}_i+b)=1$ ，xi$x_i$ 位于间隔超平面上，我们称这样的样本为支持向量。当我们求解得到αi${\alpha }_i$ 代入后，由w=∑iαiyixi$w=\sum _i{\alpha }_i{y}_i{x}_i$ 即可得到w$w$ ，由任意一支持向量均满足gi(w)=0$g_i(w)=0$ ，将w,xi,yi$w,x_i,y_i$ 代入即可得到b$b$ ，最终判别函数为：

f(x)=wTx+b=(∑iαiyixTi)x+b=∑iαiyi(xTix)+b$f(x)=w^{T}x+b=(\sum _i{\alpha }_i{y}_i{x}_i^T)x+b=\sum _i{\alpha }_i{y}_i(x_i^{T}x)+b$

对于所有非支持向量的样本，有αi=0${\alpha }_i=0$ ，即在最终的判别函数中只有支持向量起作用，故SVM可以看做一系列支持向量的“加权和”构成的模型。

---

本文总结了SVM的建模来由、对偶问题和模型推导过程，最终得到了SVM对偶问题的形式和判别函数。其余内容下文再续。