提升樹與梯度提升樹 Boosting Tree & Gradient Boosting Decision Tree(GBDT)

提升樹(Boosting Tree)
以決策樹爲基函數的提升方法稱爲提升樹。提升樹對分類問題，提升樹是二叉分類樹，對迴歸問題提升樹是二叉迴歸樹。

提升樹方法實際採用的是加法模型(即基函數的線性組合)與前向分步算法，因此提升樹模型可以表示爲決策樹的加法模型：

ŷ i=fK(x)=∑k=1KT(x;θk)=∑k=1Kfk(x;θk)$${\hat{y}}_i=f_K(x)=\sum _{k=1}^{K}T(x;{\theta }_k)=\sum _{k=1}^K{f}_k(x;{\theta }_k)$$

其中T(x;θk)$T(x;{\theta }_k)$ 表示某一顆決策樹，θk${\theta }_k$ 是決策樹的參數，K$K$ 爲決策樹的個數

提升樹算法過程：
假設有數據集T={(x1,y1),(x2,y2),...,(xN,yN)}$T=\{(x1,y1),(x2,y2),...,(x_N,y_N)\}$ ，
其中xi∈X⊆Rn,yi∈Y⊆R$x_i\in X\subseteq R^n,y_i\in Y\subseteq R$
輸出提升樹：fK(x)$f_K(x)$

1、初始化f0(x)=0$f_0(x)=0$
2、對k=1,2,...,K$k=1,2,...,K$ 依次進行循環迭代：

1. 計算後一顆樹對前一顆樹的殘差：
   rki=yi−fk−1(xi),i=1,2,...,N$$r_{ki}=y_i-f_{k-1}(x_i),i=1,2,...,N$$
2. 擬合殘差學習一個迴歸樹，得到T(x,θk)$T(x,{\theta }_k)$
3. 更新fk(x)=fk−1(x)+T(x,θk)$f_k(x)=f_{k-1}(x)+T(x,{\theta }_k)$
   3、通過迭代最終得到迴歸提升樹
   fK(x)=∑k=1KT(x,θk)$$f_K(x)=\sum _{k=1}^{K}T(x,{\theta }_k)$$

GBDT
提升樹利用加法模型與前向分佈算法實現學習的優化過程在損失函數式平方損失和指數損失時，每一步優化是很簡單的。

但對一般損失函數而言，往往每一步優化並不那麼容易。

Freidman提出了梯度提升算法，其關鍵是利用損失函數的負梯度在當前模型的值：

−[∂L(y,f(xi))∂f(xi)]f(x)=fm−1(x)$$-[\frac{\mathrm{\partial }L(y,f(x_i))}{\mathrm{\partial }f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$

其中L(y,f(xi))$L(y,f(x_i))$ 是自定義的損失函數，y$y$ 是殘差，f(x)$f(x)$ 是迭代而成的決策樹。

作爲迴歸問題提升樹算法中殘差的近似值來擬合一顆迴歸樹。