模型融合方法之Bagging与Boosting

Bagging

1. 从原始样本集中有放回抽样，获取训练子集。假设训练集有N个样本，每轮从训练集中有放回的抽取N个训练样本。共进行k轮抽取，得到k个训练子集。（k个训练集之间是相互独立的）
2. 每个训练子集训练一个模型，k个训练集共得到k个模型。
3. 对分类问题：投票；回归问题：取均值

Boosting

1. 使用全部样本训练每个模型；
2. 每轮训练改变样本的权重，减小在上一轮训练正确的样本的权重，增大错误样本的权重
3. 下轮训练目标是拟合上一轮的残差；

区别

（1）样本选择上
        Bagging： 原始训练集上有放回选取，各轮训练集之间是独立
        Boosting： 每一轮使用全部训练集，只是每个样本的权重不同，权值是根据上一轮的分类结果进行调整
（2）样本权重
        Bagging： 权重相等
        Boosting：每个样本的权重不同，权值是根据上一轮的分类结果进行调整
（3）预测函数
        Bagging： 所有预测函数的权重相等
        Boosting： 每个弱分类器都有相应的权重，分类误差小的分类器会有更大的权重
（4）弱学习器拟合情况
        Bagging：overfitting
        Boosting：underfitting
（5）并行计算
        Bagging：并行
        Boosting：串行，顺序生成

对bagging减少variance，而boosting减少bias的理解

Bagging：
        Bagging对样本重采样，对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance（事实上，各模型的分布也近似相同，但不独立）
bias：

• 由于$E[\frac{\sum{X_I}}{n}] = E[X_i]$，所以bagging后的bias和单个子模型的接近，一般来说不能显著降低bias。

variance：

• 若各子模型独立，则$Var(\frac{\sum{X_i}}{n}) = \frac{Var(\sum{X_i})}{n}$，variance降为单个模型的$\frac{1}{n}$ ，
• 若各子模型完全相同，则$Var(\frac{\sum X_i}{n})=Var(X_i)$，此时不会降低variance
  bagging方法得到的各子模型是有一定相关性的，属于上面两个极端状况的中间态，因此可以一定程度降低variance。为了进一步降低variance，Random forest通过随机选取变量子集做拟合的方式de-correlated了各子模型（树），使得variance进一步降低。

Boosting
        从优化角度来看，是用forward-stagewise这种贪心法去最小化损失函数$L(y, \sum_i a_i f_i(x))$。
        所谓forward-stagewise，就是在迭代的第n步，求解新的子模型$f_n(x)$及步长$a_n$（或者叫组合系数），来最小化$L(y,f_{n-1}(x)+a_nf_n(x))$，这里$f_{n-1}(x)$是前$n-1$步得到的子模型的和。
bias：

• boosting是在sequential地最小化损失函数，其bias自然逐步下降。

variance：

• 由于是采取这种sequential、adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。

所以说boosting主要还是靠降低bias来提升预测精度。