决策树的优缺点
优点:计算复杂度不高，输出结果易于理解，对中间值不明干，可以处理不相关特征数据。
缺点:可能会产生过度匹配。
范围:数值型和标称型。
决策树的一般流程
收集数据
准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化
分析数据：可以使用任何方法，构造树完成之后，应该检查图形是否符合预期
训练算法：使用经验树计算错误率
使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义
信息增益
原则: 将无序的数据变得更加有序。
在划分数据集之前之后信息发生的变化
熵: 信息的期望值，或者集合信息的度量方式。
熵
熵定义为信息的期望值。
伪代码函数createBranch()
检测数据集中的每个子项是否属于同一类：
If so return 类标签
Else
寻找划分数据集的最好特征
划分数据集
创建分支节点
for 每个划分的子集
调用函数createBranch并增加返回结果到分支节点中
return 分支节点