決策樹 {Keras 由淺入深}

決策樹

TensorFlow	Keras	sklearn

python & mathematics

---

決策樹是基於區域（region-based）的機器學習方法，是非線性的。
主要用於爲集合進行分配，達到分配的子集的併爲全集，各子集互不相交
即：
$\chi = \cup^n_{i=0} R_i$
$R_i \cap R_j = \phi , i = \not j$

構建決策樹最重要的環節其實就是選擇分類變量，
分類變量的存在使得產生非線性解，
損失函數一般採用misclass或者cross-entropy

決策樹能夠很好的解決非線性分類，但是樹的生成的終止條件很難把握，並且由於生成的隨機性，往往使得決策樹過於敏感，容易發生過擬合。所以對於一個分類變量最好不要進行過多次的分類，葉子節點中的樣本數量不能過少。

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
iris = load_iris()
X = iris.data[:, 2:]
y = iris.target
tree_clf = DecisionTreeClassifier(max_depth=2)
tree_clf.fit(X, y)
#X y皆爲矩陣

// 關於具體的sklearn中決策樹的實現