to be continued …
決策樹
談森林之前，先說一說決策樹。小藍書裏說，決策樹可以看作是if-then規則的集合。就是將空間用超平面進行劃分，每次都一分爲二，每個葉子節點（即類別）都是在空間中不相交的區域。
對於訓練數據，通過信息增益information gain（ID3） or 信息增益比information gain ratio(C4.5)，選擇合適的特徵，構建決策樹模型。
隨機森林RandomForest
一般來說，隨着決策樹深度的增長，會產生過擬合的現象。雖然剪枝可以稍微削弱這個影響，但是還是不足以避免。
用隨機的方式建一個森林，多棵樹投票的方式，決定最終目標輸出結果。