決策樹是一種常見的機器學習算法，它的思想十分樸素，類似於我們平時利用選擇做決策的過程。它是類似流程圖的結構，其中每個內部節點表示一個測試功能，即類似做出決策的過程（動作），每個葉節點都表示一個類標籤，即在計算所有特徵之後做出的決定（結果）。標籤和分支表示導致這些類標籤的功能的連接。從根到葉的路徑表示分類規則，完全通過生成決策規則來解決分類和迴歸問題。
(因最近工作忙，具體內容後續逐步編寫)
一、數學原理
1、信息熵(information entropy)
2、條件熵(conditional entropy)
3、信息增益(information gain)
4、信息增益率(information gain ratio)
5、基尼指數(Gini index)
二、實現過程
1、三步驟：
特徵選擇、決策樹生成、決策樹剪枝
三、分類
1、ID3
2、C4.5
3、CART
參考文章:
https://mp.weixin.qq.com/s/k_OjObExgsi4DaHMSGUUMA
https://mp.weixin.qq.com/s/yFxysYAx2Fe–11kJ4M3tg
https://mp.weixin.qq.com/s/lP5ZqfhDCd4Tt3IYpQm-Lg
https://mp.weixin.qq.com/s/poI_7bBnoxgIciaIQYB_Iw
https://mp.weixin.qq.com/s/YzNH1DybIlBTcJsacAEQwA
https://mp.weixin.qq.com/s/XAJnl9HggdQ6-Rab9GJiVw