来捋一捋SVM吧

硬间隔

优化目标

能将所有样本点正确分类的几何间距最大的超平面。

$\mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})\geq\gamma ,\forall i$

$\quad \quad \quad \downarrow \gamma= \frac{ \hat{\gamma}}{||w||}$ 函数间隔代替几何间隔

$\mathop{argmax}\limits_{w,b} \frac{ \hat{\gamma}}{||w||} \quad s.t.\quad y_i(w^Tx_i+b)\geq \hat{\gamma},\forall i$

$\quad \quad \quad \downarrow \hat{\gamma}$ 归一化为1

$\mathop{argmax}\limits_{w,b} \frac{1}{||w||} \quad s.t.\quad y_i(w^Tx_i+b)\geq 1,\forall i$

$\quad \quad \quad \downarrow$ 转化为凸优化问题

$\mathop{argmin}\limits_{w,b} \frac{1}{2} ||w||^2 \quad s.t.\quad 1-y_i(w^Tx_i+b)\leq 0,\forall i$

KKT 条件

SVM优化目标的拉格朗日函数：

KKT条件给出了一组向量 $w^*,b^*,\lambda^*$ 是原问题最优解的必要条件(上述原问题是凸优化问题，所以是充要条件)：

• $\nabla_{}L|_{w=w^*,b=b^*}=0$
• $1-y_i(w^Tx_i+b)\leq 0,\forall i$
• $\lambda_i^*\geq0 ,\forall i$
• $\lambda_i^*(1-y_i(w^{*T}x_i+b^*))=0,\forall i$

但是这个优化问题仍然不好解

对偶问题

强对偶条件

凸优化问题+Slater条件

对应：SVM中数据线性可分

构造对偶问题

将原优化问题与约束条件写成一个大的优化函数

将原优化问题转化为minmax问题

根据强对偶性质转化为maxmin问题

对偶问题求解

先求内层的min,对w,b求导=0，得到：

代入原函数，优化目标变为：

使用SMO求解

凸优化问题

• 满足为凸优化问题？
  一般地，如果一个同时拥有等式约束和不等式约束的最值问题
  
  满足条件:1. $f(x)$ 是凸函数 2. $g_i(x)$ 都是凸函数 3. $h_i(x)$都是仿射函数，即形如 形式的函数.那么称这是一个凸优化问题.

• 凸优化问题有优点：
  局部最优解一定是全局最优解.
  方法较多，容易求解.
  使得KKT条件成为充要条件.
  再加上一个条件可以推出强对偶性.

参考链接：主脉络