机器学习算法之Adaboost原理和计算过程

AdaBoost算法是基于Boosting思想的机器学习算法，AdaBoost是adaptive boosting（自适应boosting）的缩写，其运行过程如下：

1) 计算样本权重

{(x1,y1),(x2,y2),...,(xn,yn)}$\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}$ 设定每个样本的权重都是相等的，即1n$\frac{1}{n}$

2) 计算错误率

利用第一个弱学习算法h1$h_1$ 对其进行学习，学习完成后进行错误率ε的统计：

ε=为正确分类的样本数所有样本数目$\epsilon =\frac{为正确分类的样本数}{所有样本数目}$

3) 计算弱学习算法权重

弱学习算法也有一个权重，用向量 α$\alpha$ 表示，利用错误率计算权重 α$\alpha$ ：

α=12 ln(1−εε)$\alpha =\frac{1}{2}ln(\frac{1-\epsilon }{\epsilon })$

4) 更新样本权重

在第一次学习完成后，需要重新调整样本的权重，以使得在第一分类中被错分的样本的权重，在接下来的学习中可以重点对其进行学习：

Dt+1(i)=Dt(i)Zt∗{e−αtif ht(xi) = yie αtif ht(xi) ≠ yi$D_{t+1}(i)=\frac{D_t(i)}{Z_t}\ast \{\frac{e^{-{\alpha }_t}if{h}_t(x_i)=y_i}{e^{{\alpha }_t}if{h}_t(x_i)\ne y_i}$

其中，ht(xi)=yi$h_t(x_i)=y_i$ 表示对第i$i$ 个样本训练正确，不等於则表示分类错误。Zt$Z_t$ 是一个归一化因子：

Zt=sum(D)$Z_t=sum(D)$

这个公式我们可以继续化简，将两个公式进行合并，化简如下：

H(x)=sign(∑Tt=1αtht(x))$H(x)=sign(\sum _{t=1}^T{\alpha }_t{h}_t(x))$
其中sign(x)$sign(x)$ 是符号函数。

5) AdaBoost算法