支持向量机概述

支持向量机概述

支持向量机（support vector machinc，SVM）是在高维特征空间使用线性函数假设空间的学习系统，在分类方面具有良好的性能。在自然语言处理中，SVM广泛应用于短语识别、词义消歧、文本自动分类和信息过滤等方面。

线性分类

二分类问题通常用实数函数$f : X \subseteq \R^{n} \rightarrow \R$（$n$为输入维数）判别：当$f(\mathbf{x}) \geq 0$时，将输入$\mathbf{x} = (x_{1}, x_{2}, \dots, x_{n})^{\text{T}}$判为正类；否则，为负类。当$f(\mathbf{x})$（$\mathbf{x} \in X$）是线性函数时，$f(\mathbf{x})$可写成如下形式：

$f(\mathbf{x}) = \langle \mathbf{w}, \mathbf{x} \rangle + b = \sum_{i = 1}^{n} w_{i} x_{i} + b \tag {1}$

其中，$(\mathbf{w}, b) \in \R^{n} \times \R$是控制函数的参数，决策规则由符号函数$\text{sgn}(f(\mathbf{x}))$给出，通常$\text{sgn}(0) = 1$。参数学习意味着要从训练数据中获得这此参数。

该分类方法的几何解释是：方程$\langle \mathbf{w}, \mathbf{x} \rangle + b = 0$定义的超平面将输入空间$X$分成两半，一半为负类，一半为正类，

图中黑斜线表示超平面，对应地，超平面上面为正区域，用符号+表示，下面为负区域，用符号-表示。$\mathbf{w}$是超平面的法线方向。当$b$的值变化时，超平面平行移动。因此，如果要表达$\R^{n}$中所有可能的超平面，一般要包括$n + 1$个可调参数的表达式。

如果训练数据线性，则以最大间隔分开数据的超平面称为最优超平面，

对于多类分类问题，输出域是$Y = \{ 1, 2, \dots, m \}$，线性学习器推广到$m$（$m \in N, m \geq 2$）类问题：对于$m$类中的每一类关联一个权重向量$\mathbf{w}_{i}$和偏置$b_{i}$，即$(\mathbf{w}_{i}, b_{i})$，$i \in \{1, 2, \dots, m\}$，定义决策函数：

$c(\mathbf{x}) = \argmax_{1 \leq i \leq m} \langle \mathbf{w}_{i}, \mathbf{x} \rangle + b_{i} \tag {2}$

其几何意义是：给每个类关联一个超平面，然后将新点$\mathbf{x}$赋予超平面离其最远的那一类。输入空间被划分为$m$个简单相连的凸区域。

P.S.：方程（2-44）相当于one-verse-rest方式。

线性不可分

对于非线性问题，可以把样本$\mathbf{x}$映射到某个高维特征空间，在高维特征空间中使用线性学习器。因此，假设集是如下类型函数：

$f(\mathbf{x}) = \langle \mathbf{w}, \varphi(\mathbf{x}) \rangle + b \tag {3}$

其中，$\varphi: X \rightarrow F$表示从输人空间$X$到特征空间$F$的映射。即建立非线性分类器分为两步：首先使用一个非线性映射函数将数据变换到一个特征空间$F$，然后在这个特征空间上使用线性分类器。

线性分类器的一个重要性质是可以表示成对偶形式，这意味着假设可以表达为训练点的线性组合。 因此，决策规则（分类函数）可以用测试点和训练点的内积来表示：

$f(\mathbf{x}) = \sum_{i = 1}^{l} \alpha_{i} y_{i} \langle \varphi(\mathbf{x}_i), \varphi(\mathbf{x}) \rangle + b \tag {4}$

其中，$l$是样本数目；$\alpha_{i}$为正值导数，可通过学习获得；$y_{i}$为样本$i$的类别标签。如果有一种方法可以在特征空间中直接计算内积$\langle \varphi(\mathbf{x}_i), \varphi(\mathbf{x}) \rangle$，就像在原始输入点的函数中一样，则有可能将两个步骤融合到一起，建立一个非线性分类器。在高维空间中实际上只需要进行内积运算，而这种内积运算是可以利用原空间中的函数实现的，我们甚至没有必要知道变换的形式。这种直接计算的方法称为核（kernel）函数方法。

构造核函数

定义：核是一个函数$K$，对所有$\mathbf{x}, \mathbf{z} \in X$,满足

$K(\mathbf{x}, \mathbf{z}) = \langle \varphi(\mathbf{x}), \varphi(\mathbf{z}) \rangle \tag {5}$

其中，$\varphi$表示从输入空间$X$到特征空间$F$的映射。有了核函数，决策规则就可以通过对核函数的$l$次计算得到：

$f(\mathbf{x}) = \sum_{i = 1}^{l} \alpha_{i} y_{i} K(\mathbf{x}_{i}, \mathbf{x}) + b \tag {6}$

这种方法的关键是如何找到一个可以高效计算的核函数。

为适合某个特征空间，核函数必须是对称的，即

$K(\mathbf{x}, \mathbf{z}) = \langle \varphi(\mathbf{x}), \varphi(\mathbf{z}) \rangle = \langle \varphi(\mathbf{z}), \varphi(\mathbf{x}) \rangle = K(\mathbf{z}, \mathbf{x}) \tag {7}$

并且满足柯西不等式：

$\begin{aligned} K^{2}(\mathbf{x}, \mathbf{z}) & = \langle \varphi(\mathbf{x}), \varphi(\mathbf{z}) \rangle^{2} \\ & \leq \| \varphi(\mathbf{x})\|^{2} \| \varphi(\mathbf{z}) \|^{2} \\ & = \langle \varphi(\mathbf{x}), \varphi(\mathbf{x}) \rangle^{2} \langle \varphi(\mathbf{z}), \varphi(\mathbf{z}) \rangle^{2} \\ & = K^{2}(\mathbf{x}, \mathbf{x}) K^{2}(\mathbf{z}, \mathbf{z}) \end{aligned} \tag {8}$

其中，$\| \cdot \|$表示欧氏模函数。但这些条件对于保证特征空间的存在是不充分的，还必须满足Mercer定理的条件：对$X$的任意有限子集，相应的矩阵是半正定的。即令$X$是有限输入空间，$K(\mathbf{x}, \mathbf{z})$是$X$上的对称函数，则$K(\mathbf{x}, \mathbf{z})$是核函数的充分必要条件为矩阵

$\mathbf{K} = \left( K(\mathbf{x}_{i}, \mathbf{x}_{j}) \right)_{i, j = 1}^{n} \tag {9}$

是半正定的（即特征值非负）。

根据泛函的有关理论，只要一种核函数满足Mercer条件，它就对应某一空间中的内积。

支持向量机中常用的核函数主要有：多项式核函数、径向基函数、多层感知机、动态核函数等。