写在前面的话
前四节我们已经完成了模型的建立的训练，分别是：
数据的预处理和赛题的相关背景：天池实战-街景字符编码识别-task1赛题理解
通过Pytorch 批量读取图像数据并进行图像预处理：天池实战-街景字符编码识别-task2数据预处理
通过CNN模型完成字符识别功能以及如何在Pytorch下进行模型的建立：天池实战-街景字符编码识别-task3模型建立
模型的训练和验证：天池实战-街景字符编码识别-task4模型的训练和验证
这节主要介绍模型集成的相关内容
先从集成方法开始
集成方法（ensemble method）通过组合多个学习器来完成学习任务。
通过集成方法，可以将多个弱可学习器组合成一个强可学习分类器，因此集成学习的泛化能力一般比单一的基分类器要好
集成方法主要包括Bagging、Boosting和stacking，都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。更准确的说这是一种分类算法的组装方法，即将弱分类器组装成强分类器的方法。
1. Bagging
Bagging法也称为投票法，有放回地对训练集进行采样，bagging法的主要流程是：
-
从原始样本集中抽取训练集。
每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（此时的k个训练集之间是相互独立的）
-
每次使用一个训练集得到一个模型，k个训练集共得到k个模型。
（注：这里可以根据具体问题采用不同的分类或回归方法，如决策树、感知机等）
-
将k个模型采用投票的方式得到分类结果。
需要注意的是，在分类问题中，需要将k个模型采用投票的方式得到分类结果；对于回归问题，则直接计算k个模型的均值作为最后的结果，如图所示：
多说一嘴，投票的方式就是少数服从多数的方式
2. Boosting
Boosting（再学习法）的思路则是采用重赋权法迭代地训练基分类器，主要流程是：
- 所有样本赋予初始权重
- 迭代训练，并在上一次训练的基础上进行改进提升，增大分类错误样本的权重
- 迭代后的最终的模型就是目标分类模型
再学习法其实就是在上一轮的基础上再次进行训练，直到满足终止条件，如图所示：
3. stacking
在stacking 算法中，训练一个多层（一般是两层）的学习器结构，第一层（也叫学习层）用n个不同的分类器（或者不同模型的参数）将得到预测结果合并为新的特征集，并作为下一层分类器的输入。
比如在前面的例子中，我们想要预测明天是否会下雨，我们可以通过相关数据利用knn、决策树、svm等将进行第一层的训练，比如我们训练出了十个分类器。然后通过stacking的方法将这十个分类器的结果作为了第二层训练器的数据，通过第二层的输出训练器得到了最终的预测结果。
stacking流程：
- 通过样本进行训练，得到个体学习器，也就是初级学习器
- 使用训练出来的个体学习器得到预测的结果，这个预测结果当做次级学习器的训练集
- 用初级学习器预测的结果训练出次级学习器，得到最终的训练模型。
一般使用LR作为第二层的模型进行建模预测
3. Bagging、Boosting二者之间的区别
样本选择上
- Bagging：训练集是从原始集中有放回的选取，从原始集中选出的各轮训练集之间是独立的
- Boosting：每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
样例权重
- Bagging：使用均匀取样，每个样本的权重相等
- Boosting：根据错误率不断调整样本的权值，错误率越大则权重越大
预测函数
- Bagging：所有预测函数的权重相等
- Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
并行计算
- Bagging：各个预测函数可以并行生成
- Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果
集成算法总结
两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果
将不同的分类算法套入到算法框架中一定程度会提高了分类效果，但是也增大了计算量
常见的决策树结合算法：
- Bagging + 决策树 = 随机森林
- Adaboost + 决策树 = 提升树
- Gradient Boosting + 决策树 = GBDT