一、概念：
1、什麼是分類？聚類又是什麼？
(1)Classification (分類)，對於一個 classifier ，通常需要你告訴它“這個東西被分爲某某類”這樣一些例子，理想情況下，一個 classifier 會從它得到的訓練集中進行“學習”，從而具備對未知數據進行分類的能力，這種提供訓練數據的過程通常叫做 supervised learning (監督學習)，
(2)而Clustering(聚類)，簡單地說就是把相似的東西分到一組，聚類的時候，我們並不關心某一類是什麼，我們需要實現的目標只是把相似的東西聚到一起，因此，一個聚類算法通常只需要知道如何計算相似 度就可以開始工作了，因此 clustering 通常並不需要使用訓練數據進行學習，這在 Machine Learning 中被稱作 unsupervised learning (無監督學習).
在學習的過程中，體會到分類和聚類功能的相似。
2、什麼是決策樹？
(1) 所謂決策樹，顧名思義，是一種樹，一種依託於策略抉擇而建立起來的樹。
機器學習中，決策樹是一個預測模型；他代表的是對象屬性與對象值之間的一種映射關係。樹中每個節點表示某個對象，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結點則對應從根節點到該葉節點所經歷的路徑所表示的對象的值。決策樹僅有單一輸出，若欲有複數輸出，可以建立獨立的決策樹以處理不同輸出。
從數據產生決策樹的機器學習技術叫做決策樹學習, 通俗點說就是決策樹，說白了，這是一種依託於分類、訓練上的預測樹，根據已知預測、歸類未來。
(2)例子：
第一個例子
套用俗語，決策樹分類的思想類似於找對象。現想象一個女孩的母親要給這個女孩介紹男朋友，於是有了下面的對話：
女兒：多大年紀了？
母親：26。
女兒：長的帥不帥？
母親：挺帥的。
女兒：收入高不？
母親：不算很高，中等情況。
女兒：是公務員不？
母親：是，在稅務局上班呢。
女兒：那好，我去見見。
這個女孩的決策過程就是典型的分類樹決策。相當於通過年齡、長相、收入和是否公務員對將男人分爲兩個類別：見和不見。假設這個女孩對男人的要求是：30歲以下、長相中等以上並且是高收入者或中等以上收入的公務員，那麼這個可以用下圖表示女孩的決策邏輯：
也就是說，決策樹的簡單策略就是，好比公司招聘面試過程中篩選一個人的簡歷，如果你的條件相當好比如說某985/211重點大學博士畢業，那麼二話不說，直接叫過來面試，如果非重點大學畢業，但實際項目經驗豐富，那麼也要考慮叫過來面試一下，即所謂具體情況具體分析、決策。但每一個未知的選項都是可以歸類到已有的分類類別中的。
第二個例子
此例子來自Tom M.Mitchell著的機器學習一書：
小王的目的是通過下週天氣預報尋找什麼時候人們會打高爾夫，他瞭解到人們決定是否打球的原因最主要取決於天氣情況。而天氣狀況有晴，雲和雨；氣溫用華氏溫度表示；相對溼度用百分比；還有有無風。如此，我們便可以構造一棵決策樹，如下（根據天氣這個分類決策這天是否合適打網球）：
上述決策樹對應於以下表達式：
3、決策樹學習之ID3算法（Outlook=Sunny ^Humidity<=70）V （Outlook = Overcast）V （Outlook=Rain ^ Wind=Weak）
(1)ID3算法思想：
越是小型的決策樹越優於大的決策樹（be simple簡單理論）。儘管如此，該算法也不是總是生成最小的樹形結構，而是一個啓發式算法。
從信息論知識中我們知道，期望信息越小，信息增益越大，從而純度越高。ID3算法的核心思想就是以信息增益度量屬性選擇，選擇分裂後信息增益(很快，由下文你就會知道信息增益又是怎麼一回事)最大的屬性進行分裂。該算法採用自頂向下的貪婪搜索遍歷可能的決策樹空間。
所以，ID3的思想便是：
- 自頂向下的貪婪搜索遍歷可能的決策樹空間構造決策樹(此方法是ID3算法和C4.5算法的基礎)；
- 從“哪一個屬性將在樹的根節點被測試”開始；
- 使用統計測試來確定每一個實例屬性單獨分類訓練樣例的能力，分類能力最好的屬性作爲樹的根結點測試(如何定義或者評判一個屬性是分類能力最好的呢？這便是下文將要介紹的信息增益，or 信息增益率)。
- 然後爲根結點屬性的每個可能值產生一個分支，並把訓練樣例排列到適當的分支（也就是說，樣例的該屬性值對應的分支）之下。
- 重複這個過程，用每個分支結點關聯的訓練樣例來選取在該點被測試的最佳屬性。
這形成了對合格決策樹的貪婪搜索，也就是算法從不回溯重新考慮以前的選擇。
