AdaBoost详解

本博客内容摘自李航老师的《统计学习方法》，加以一些整理。

相关概念

  提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

  对于分类问题而言，给定一个训练集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多。提升(booting)方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布(训练数据的权值分布)，针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

  所以对于提升方法而言，有两个问题需要解决：一是在每一轮如何改变训练数据的权值或者概率分布；二是如何将弱分类器组合成一个强分类器。

  对于第一个问题，AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样一来，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮的弱分类器的更大关注。于是，分类问题被一系列的弱分类器”分而治之”。

  对于第二个问题，即弱分类器的组合，AdaBoost采取加权多数表决的方法。具体地，加大分类错误率小的弱分类器的权重，使其在表决中起较大的作用，减少分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

AdaBoost算法

  假定给定一个二分类的训练数据集：

T={(x1,y1),(x2,y2),...,(xN,yN)}$$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$$

其中，每个样本点由实力和标记组成。实例xi∈X⊆Rn$x_i\in X\subseteq R^n$ (表示实数),标记yi∈Y={−1,+1}$y_i\in Y=\{-1,+1\}$ ,即有两种标签的数据，用{−1,+1}$\{-1,+1\}$ 来表示这两种类别;X$X$ 是实例空间，Y$Y$ 是标记集合。AdaBoost算法利用以下算法，从训练数据中学习一系列弱分类器或基本分类器，并将这些弱分类器线性组合成一个强分类器。

AdaBoost描述:
  输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$ ，其中xi∈X⊆Rn,yi∈Y={−1,+1}$x_i\in X\subseteq R^n,y_i\in Y=\{-1,+1\}$ ;得到弱学习算法;
  输出:最终分类器G(x)$G(x)$

算法步骤:

(1)初始化训练数据的权值分布

D1=(w11,...,w1i,...,w1N),w1i=1N,i=1,2,...,N(2.1)$$D_1=(w_{11},...,w_{1i},...,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,...,N(2.1)$$

D是用来描述各样本的权值分布的。

(2)对m=1,2,...,M$m=1,2,...,M$ ，m$m$ 表示迭代的次数
  (a)使用具有权值分布Dm$D_m$ 的训练数据集学习，得到基本分类器:

Gm(x):X⟶{−1,+1}$$G_m(x):X⟶\{-1,+1\}$$

  (b)计算Gm$G_m$ 在训练数据集上的分类误差率

em=P(Gm(xi)≠yi)=∑i=1NwmiI(Gm≠yi)(2.2)$$e_m=P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m\ne y_i)(2.2)$$

其中I(Gm≠yi)={0,1}$I(G_m\ne y_i)=\{0,1\}$ ，当分类正确时，等于0;分类错误时，等于1;Gm(xi)$G_m(x_i)$ 表示第m$m$ 轮得到的弱分类器Gm$G_m$ 对第i$i$ 个样本xi$x_i$ 的分类结果，yi$y_i$ 表示第i$i$ 个样本的真实类别。注意计算误差率是用到了权重分布D$D$ 中的wm$w_m$ 。
  (c) 计算Gm(x)$G_m(x)$ 的系数

αm=12log1−emem(2.3)$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}(2.3)$$

这里的对数是自然对数。可以发现，当错误率em$e_m$ 越大时,am$a_m$ 越小。这个参数将会用在集成阶段。
  (d)更新训练数据集的权值分布

Dm+1=(wm+1,1,...,wm+1,i,...,wm+1,N)(2.4)$$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})(2.4)$$

wm+1,i=wmiZmexp(−αmyiGm(xi)),i=1,2,...,N(2.5)$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,...,N(2.5)$$

这里,Zm$Z_m$ 是规范化因子，使得总的wm+1$w_{m+1}$ 值和为1.

Zm=∑i=1Nwmiexp(−αmyiGm(xi))(2.6)$$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))(2.6)$$

它使得Dm+1$D_{m+1}$ 成为一个概率分布。

(3)构建基本分类器的线性组合

f(x)=∑m=1MαmGm(x)(2.7)$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)(2.7)$$

错误率越低的弱分类器对应的α$\alpha$ 值越大，使其在表决中起较大的作用。
得到最终的分类器

G(x)=sign(f(x))=sign(∑m=1MαmGm(x))(2.8)$$G(x)=sign(f(x))=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m(x)\right)(2.8)$$

对AdaBoost算法作如下说明:
  步骤(1)假设训练数据集具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同，这一假设保证第1步能够在原始数据上学习基本分类器G1(x)$G_1(x)$ .

  步骤(2)AdaBoost反复学习基本分类器，在每一轮m=1,2,...,M$m=1,2,...,M$ 顺次地执行下列操作:
  (a)使用当前分布Dm$D_m$ 加权的训练数据集，学习基本分类器Gm(x)$G_m(x)$ .
  (b)计算基本分类器Gm(x)$G_m(x)$ 在加权训练数据集上的分类错误率:

em=P(Gm(xi)≠yi)=∑Gm(xi)≠yiwmi(2.9)$$e_m=P(G_m(x_i)\ne y_i)=\sum _{G_m(x_i)\ne y_i}{w}_{mi}(2.9)$$

这里,wmi$w_{mi}$ 表示第m$m$ 轮中第i$i$ 个实例的权值，∑Ni=1wmi=1$\sum _{i=1}^N{w}_{mi}=1$ .这表明，Gm(x)$G_m(x)$ 在加权的训练数据集上的分类错误率是被Gm(x)$G_m(x)$ 误分类样本的权值之和，由此可以看出数据权值分布Dm$D_m$ 与基本分类器Gm(x)$G_m(x)$ 的分类错误率的关系。
  (c)计算基本分类器Gm(x)$G_m(x)$ 的系数αm,αm${\alpha }_m,{\alpha }_m$ 表示Gm(x)$G_m(x)$ 在最终的分类器中的重要性。由式子(2.3)可知，当em≤12$e_m\le \frac{1}{2}$ 时，αm≥0${\alpha }_m\ge 0$ ，并且αm${\alpha }_m$ 伴随着em$e_m$ 的减小而增大，所以分类误差率越小的基本分类器在最终分类器中的作用越大。
  (d)更新训练数据的权值分布，为下一轮作准备。式子(2.5)可以写成：

wm+1,i={wmiZme−αm,wmiZmeαm,Gm(xi)=yiGm(xi)≠yi$$w_{m+1,i}=\{\begin{array}{ll}\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m},& G_m(x_i)=y_i\\ \frac{w_{mi}}{Z_m}{e}^{{\alpha }_m},& G_m(x_i)\ne y_i\end{array}$$

由此可知，被基本分类器Gm(x)$G_m(x)$ 误分类样本的权值得以扩大，而被正确分类样本的权值却得以缩小。二者比较，误分类样本的权值被放大e2αm=em1−em$e^{2{\alpha }_m}=\frac{e_m}{1-e_m}$ 倍.因此，误分类样本在下一轮学习中起更大的作用。不改变所给的训练数据，而不断改变训练数据的权值分布，使得训练数据在基本分类器的学习中起不同的作用，这是AdaBoost的一个特点。

  步骤(3)线性组合f(x)$f(x)$ 实现了M$M$ 个基本分类器的加权表决。系数αm${\alpha }_m$ 表示了基本分类器Gm(x)$G_m(x)$ 的重要性，这里，所有αm${\alpha }_m$ 之和并不为1.f(x)$f(x)$ 的符号决定实例x$x$ 的类，f(x)$f(x)$ 的绝对值表示分类的确信度，利用基本分类器的线性组合构建最终分类器是AdaBoost的另一特点。

参考例子

注意，权值分布是在计算错误率e$e$ 时起作用，公式(2.2)中。