機器學習 - 決策樹

一、概念

• 決策樹：
  決策樹屬於機器學習中的一種監管學習方法，是一種樹形結構，其中每個內部節點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節點代表一種類別。如下圖：
  

二、算法

決策樹的生成算法有ID3, C4.5和C5.0等。

• C4.5：
  C4.5算法繼承了ID3算法的優點，並在以下幾方面對ID3算法進行了改進：

  • 用 “增益率” 來選擇最優劃分屬性，克服了用信息增益選擇屬性；
  • 在樹構造過程中進行剪枝；
  • 能夠完成對連續屬性的離散化處理；

• CART