【机器学习】决策树(一)----学习步骤和常用算法ID3以及C4.5

决策树分开两部分，是因为CART算法还是有些麻烦的，对于回归树我还是存在一些问题，希望后面整理的时候能够理清楚。

【学习思想】

决策树的学习思想还是很通俗易懂的。一般我们去买东西，我们会对这个东西的一些特征做一个衡量来决定是否购买，比如我们可能会看这个东西的大小是否合适，如果合适，我们可能会看这个东西的材质是否满意，满意的话我们会继续在意它的价格是否合理。这样一步一步下来，我们就能构造出一个树形模型。不过我们在构造树的时候，第一个选择什么特征作为我们的衡量标准，下一个选择什么特征来衡量，这是一个问题，因此我们要做出特征选择。当我们要买一个新东西(同功用)的时候，我们就可以根据以前生成的树形模型，来判断我们是否会购买。这里买与不买是一个二分类问题，多分类问题与其思想也是一样的，决策树模型可读性很高，且分类速度很快。

【学习步骤】

①特征选择：特征选择即我们用哪个特征来划分空间。我们常用信息增益、信息增益比或基尼系数来作为划分依据。
②决策树的生成：常用算法有ID3，C4.5，CART
②决策树的剪枝：常用方法有极小化决策树整体的损失函数、CART剪枝算法

【①特征选择】

选择最佳划分的度量通常是根据划分后子女节点不纯性的程度。不纯的程度越低，类分布就越倾斜。不纯性度量有熵、基尼、classification error。由于在ID3和C4.5中我们分别是用信息增益和信息增益比，在CART的分类树上是用基尼系数来做特征选择。因此我们要对信息增益、信息增益比以及基尼系数的计算有个了解。

信息增益

输入：训练数据集D$D$ 、特征A$A$
输出：特征A对训练数据集D的信息增益g(D,A)$g(D,A)$
1.数据集D的经验熵H(D)$1.数据集D的经验熵H(D)$
　　　H(D)=−∑k=1K|Ck||D|log2|Ck||D|$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$
　　　|D|为训练样本总数，|Ck|为类Ck的个数$|D|为训练样本总数，|C_k|为类C_k的个数$
2.特征A对数据集D的经验条件熵H(D|A)$2.特征A对数据集D的经验条件熵H(D|A)$
　　　H(D|A)=∑i=1n|Di||D|H(Di)=−∑i=1n|Di||D|∑k=1K|Dik||Di|log2|Dik||Di|$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}$
　　　|Dik|为子集Di中类为Ck的个数，|Di|为特征A的第i种取值的个数$|D_{ik}|为子集D_i中类为C_k的个数，|D_i|为特征A的第i种取值的个数$
3.信息增益$3.信息增益$
　　　g(D,A)=H(D)−H(D|A)$g(D,A)=H(D)-H(D|A)$
　　　

信息增益比

输入：训练数据集D$D$ 、特征A$A$
输出：特征A对训练数据集D的信息增益比gR(D,A)$g_R(D,A)$
1.数据集D关于特征A的值的熵HA(D)$1.数据集D关于特征A的值的熵H_A(D)$
　　　HA(D)=−∑i=1n|Di||D|log2|Di||D|$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{|D|}lo{g}_2\frac{|D_i|}{|D|}$
2.信息增益比$2.信息增益比$
　　　gR(D,A)=g(D,A)HA(D)$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$

基尼指数

输入：训练数据集D$D$ 、特征A$A$
输出：特征A对训练数据集D的基尼指数Gini(D,A)$Gini(D,A)$
1.若样本点属于第一个类的概率是p，则概率分布的基尼指数为$1.若样本点属于第一个类的概率是p，则概率分布的基尼指数为$
　　　Gini(p)=2p(1−p)$Gini(p)=2p(1-p)$
此处是二分类情况，CART算法中会将特征的多个取值变为一对多的形$此处是二分类情况，CART算法中会将特征的多个取值变为一对多的形$
式变成二分类，来计算某特征所有取值的Gini指数$式变成二分类，来计算某特征所有取值的Gini指数$

2.特征A对数据集D的基尼指数Gini(D,A)$2.特征A对数据集D的基尼指数Gini(D,A)$
　　　Gini(D,A)=|D1||D|Gini(D1)+|D2||D|Gini(D2)$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$

【②决策树生成算法】

由于C4.5与ID3的区别只在于特征选择上，因此算法结构是一样的。
C4.5是ID3的改进，因为ID3采用信息增益的方式选择特征，会对某些可取类别(值)数目较多的属性有所偏好(如学号，学号取值很多，其信息增益很大，但实际分类意义不强，不具有泛化能力)

ID3$ID3$/C4.5$/C4.5$ 的生成算法：

输入：训练数据集D$D$ ，特征集A$A$ ，阈值ε$\epsilon$
输出：决策树T$T$
(1)若D$D$ 中样本全属于同一类别Ck$C_k$ ，则将node$node$ 标记为Ck$C_k$ 类叶节点，返回T；

就拿《统计学习方法》上例5.1中的表来说(下面举例都是用这个)，不管$就拿《统计学习方法》上例5.1中的表来说(下面举例都是用这个)，不管$
前面特征如何，最后的类别全是“是”或全是“否”的话，我们就没有必要$前面特征如何，最后的类别全是“是”或全是“否”的话，我们就没有必要$
做分类了，所以我们会把这一类直接标记为叶节点后结束$做分类了，所以我们会把这一类直接标记为叶节点后结束$

(2)若D$D$ 中样本在A$A$ 上取值相同或A=∅$A=\varnothing$ ，则将node$node$ 标记为叶节点，其类别标记为D$D$ 中样本数量最多的类，返回T$T$ ；

对于年龄、有工作、有房子、信贷情况这四个特征来说，表中15条数据都相同，$对于年龄、有工作、有房子、信贷情况这四个特征来说，表中15条数据都相同，$
唯独不同的只有类别。比如年龄都是“中年人”，工作和房子都为“是”，信贷情$唯独不同的只有类别。比如年龄都是“中年人”，工作和房子都为“是”，信贷情$
况都为“一般”，则这些特征对于分类也没有什么作用了，因此也就相当于没有$况都为“一般”，则这些特征对于分类也没有什么作用了，因此也就相当于没有$
特征可以用于划分，与特征集A为空集的意义差不多，所以我们就数一数这些$特征可以用于划分，与特征集A为空集的意义差不多，所以我们就数一数这些$
数据中哪个类别最多，就将这个类别标记为叶节点后结束$数据中哪个类别最多，就将这个类别标记为叶节点后结束$

(3)若是以上两种情况都未发生，那么计算A$A$ 中各特征对D$D$ 的信息增益/信息增益比$/信息增益比$ ，选择信息增益/信息增益比$/信息增益比$ 最大的特征Ag$A_g$ ，若Ag$A_g$ 的信息增益/信息增益比$/信息增益比$ 小于阈值ε$\epsilon$ ，则将node$node$ 标记为D$D$ 中样本数最多的类；

比如计算出特征有“房子”的信息增益$比如计算出特征有“房子”的信息增益$/信息增益比$/信息增益比$最大，则这一子节点引出两个$最大，则这一子节点引出两个$
子节点，分别对应“是”和“否”，对于“有房子”来说其类别全为“是”，则这个子$子节点，分别对应“是”和“否”，对于“有房子”来说其类别全为“是”，则这个子$
节点是一个叶节点，其类标记为“是”；对于“无房子来说”，我们继续从年龄、$节点是一个叶节点，其类标记为“是”；对于“无房子来说”，我们继续从年龄、$
工作、信贷情况来选择新的特征$工作、信贷情况来选择新的特征$

(4)否则对Ag$A_g$ 的每一可能值ai$a_i$ ，依Ag=ai$A_g=a_i$ 将D$D$ 分割为若干个非空的Di$D_i$ ，将Di$D_i$ 中样本数最多的类作为类别标记，构建子节点，由节点及其子节点构成树T$T$ ，返回T$T$ ；
(5)对节点i，以Di$D_i$ 为训练集，以A−{Ag}$A-\{A_g\}$ 为特征集，递归调用(1)~(5)，得到子树Ti$T_i$ ，返回Ti$T_i$ 。

【③决策树剪枝算法】

在了解决策树剪枝算法之前，我们先来看看决策树最显著的缺点，那就是容易过拟合。我们可能会学习了一个很复杂的树，它对于训练集有很好的拟合效果，但是对于新输入的数据来说，却无法给出好的分类。因此，为了让复杂的树简单些，提出了剪枝算法。
这这里先复习《统计学习方法》上给出的一种剪枝算法，即极小化决策树整体的损失函数。

决策树学习的损失函数

我们用|T|$|T|$ (树T$T$ 的叶节点个数)来表示模型的复杂度。
经验熵：Ht(T)=−∑kKNtkNtlog(NtkNt)$H_t(T)=-\sum _k^K\frac{N_{tk}}{N_t}log(\frac{N_{tk}}{N_t})$
Ht(T)是指叶节点t的经验熵，其中Nt是指叶节点t中的样本个数，$H_t(T)是指叶节点t的经验熵，其中N_t是指叶节点t中的样本个数，$
Ntk是指这Nt个样本中k类样本的个数，K是指有多少类别$N_{tk}是指这N_t个样本中k类样本的个数，K是指有多少类别$

定义决策树学习的损失函数为：
Cα(T)=∑t=1|T|NtHt(T)+α|T|=−∑t=1|T|∑kKNtklog(NtkNt)+α|T|$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|=-\sum _{t=1}^{|T|}\sum _k^K{N}_{tk}log(\frac{N_{tk}}{N_t})+\alpha |T|$

令C(T)=−∑t=1|T|∑kKNtklog(NtkNt)$C(T)=-\sum _{t=1}^{|T|}\sum _k^K{N}_{tk}log(\frac{N_{tk}}{N_t})$ ，用于表示模型对训练数据的误差，即模型与训练数据的拟合程度。
可以得到：Cα(T)=C(T)+α|T|$C_{\alpha }(T)=C(T)+\alpha |T|$
α$\alpha$ 是控制模型复杂度和模型误差之间比重的参数，若α$\alpha$ 小，则选择较复杂的模型(即|T|$|T|$ 较大)；若α$\alpha$ 大，则选择较简单的模型(即|T|$|T|$ 较小)。这样能够很好地平衡过拟合(方差)与误差(偏差)

剪枝算法(基于极小化决策树整体的损失函数)

输入：由生成算法得到的整个树T$T$ ，参数α$\alpha$
输出：修剪后的子树Tα$T_{\alpha }$
(1)计算每一个叶节点的经验熵；
(2)递归地从树的叶节点向上回缩；
(3)计算剪枝前整体树Tbefore$T_{before}$ 和剪枝后Tafter$T_{after}$ 的损失函数Cα(Tbefore)$C_{\alpha }(T_{before})$ 和Cα(Tafter)$C_{\alpha }(T_{after})$ ；
(4)若剪枝后的损失函数Cα(Tafter)$C_{\alpha }(T_{after})$ 小于剪枝前的损失函数Cα(Tbefore)$C_{\alpha }(T_{before})$ ，则进行剪枝，将父节点变为新的叶节点；
(5)返回(2)，直至不能继续为止，得到损失函数最小的子树Tα$T_{\alpha }$

通过对决策树的生成算法和剪枝算法的学习，我们可以看出决策树生成希望得到更好的拟合效果，而决策树剪枝通过优化损失函数还考虑了模型的复杂度。决策树生成学习局部的模型，决策树剪枝学习整体的模型。

决策树的计算确实不难，我觉得可以通过对例题，习题的计算来加快理解，在真正应用当中，决策树通常会被用到集成学习当中作为基函数，如随机森林，梯度提升树等(大多选择cart tree)

参考文献：《统计学习方法》、《数据挖掘导论》