機器學習筆記-Gradient Boosted Decision Tree

集成學習系列：

• Blending and Bagging
• Adaptive Boosting
• Decision Tree
• Random Forest
• Gradient Boosted Decision Tree

Gradient Boosted Decision Tree（梯度提升決策樹）

上一篇介紹了Random Forest$RandomForest$，該算法利用Bagging$\text{Bagging}$ 中的bootstrap$\text{bootstrap}$ 機制得到不同的Decision Tree$\text{Decision Tree}$ ， 然後將這些Decision Tree$\text{Decision Tree}$ 融合起來。除了基本的Bagging$\text{Bagging}$ 和Decision Tree$\text{Decision Tree}$ 之外，Random Forest$\text{Random Forest}$ 還在decision tree$\text{decision tree}$ 中加入了更多的隨機性。有了這些機制之後，我們發現這個算法可以利用OOB$\text{OOB}$ 數據做self validation$\text{self validation}$ ， 進一步結合self validation$\text{self validation}$ 的機制和permutation test$\text{permutation test}$ 的做法我們利用random forest$\text{random forest}$ 來做feature selection$\text{feature selection}$ 。

提升方法(boosting)$(boosting)$ 的代表性算法是AdaBoost$\text{AdaBoost}$。提升樹是以分類或者回歸樹爲基本學習器的提升方法。由於樹的線性組合可以很好的擬合訓練數據，即使數據中的輸入和輸出之間的關係很複雜也沒關係，所以提升樹是一個高功能的學習算法。本篇討論針對不同問題的提升樹學習算法。其主要的區別在於使用的損失函數不同，首先介紹使用指數損失的分類問題，此時的提升樹算法只需要將Adaboost$\text{Adaboost}$ 算法的弱分類器設置爲加了限制的二分類樹即可，可以說提升樹算法用於分類是Adaboost$\text{Adaboost}$ 的特殊情況。接下來介紹提升樹算法損失函數爲平方損失時候的迴歸問題，之後我們會發現對迴歸問題的提升樹算法來說，只需要在每一輪使得弱學習器來簡單的擬合當前模型的殘差就好了。提升樹利用加法模型和前向分步算法實現優化過程，當損失函數爲平方損失或者是指數損失時分別爲我們上述討論的迴歸問題和分類問題。但是對於一般的損失函數而言，每一步的優化並不簡單。這樣便有了梯度提升算法。其關鍵是利用損失函數的負梯度在當前模型的值作爲迴歸問題提升樹算法中的殘差的近似值來進行迴歸樹的擬合。

1 - 提升樹模型

1.1 - 提升樹用於分類-Adaboost的特殊情況

先再回顧下random forest$\text{random forest}$ 的算法的形式：外層是一個bagging$\text{bagging}$ ， 可以使用bootstrap$\text{bootstrap}$ 的方式來得到不同的gt$g_t$ ，內層是一個加了更多randomness$\text{randomness}$ 的randomized-decision tree$\text{randomized-decision tree}$ 。
再回憶下adaboost$\text{adaboost}$ 算法的步驟：在這個算法中，每一輪每一個樣本被賦予一個權重u(t)n$u_n^{(t)}$ ，算法通過最小化被 u(t)n$u_n^{(t)}$ 加權的 Ein$E_{in}$ 來得到gt$g_t$ ，再計算gt$g_t$ 的權重αt${\alpha }_t$ 來融合得到最終的G$G$ 。

我們之前將decision tree$\text{decision tree}$ 搭配bagging$\text{bagging}$ 得到了random forest$\text{random forest}$ ，同樣地，我們可以將decision tree$\text{decision tree}$ 搭配adaboost$\text{adaboost}$ 得到boosting tree$\text{boosting tree}$提升樹算法。但是現在我們需要面對的一個新的問題是，在算法boosting tree$\text{boosting tree}$ 中， 決策樹作爲弱學習器是處理不了加權的數據的， 而在adaboost$\text{adaboost}$ 中每一輪的數據都是帶有權重的數據， 也就是adaboost$\text{adaboost}$ 中的base algorithm$\text{base algorithm}$ 要能夠解決如下的最小化問題：

minimize Euin=1N∑n=1Nun⋅err(yn,h(xn))$$minimize{E}_{in}^u=\frac{1}{N}\sum _{n=1}^N{u}_n\cdot err(y_n,h(x_n))$$

因爲decision tree$\text{decision tree}$ 有很多種實現，有很多技巧在裏面。所以我們決定將decision tree$\text{decision tree}$ 當做是一個黑盒子，我們不再要求這個黑盒子可以處理加權的數據，而是對加權的數據本身做處理，使之變爲不加權的數據然後餵給decision tree$\text{decision tree}$ 。

其實這一點是很容易做到， 權重是從bagging$\text{bagging}$ 中的bootstrap$\text{bootstrap}$ 中得到的，在做bootstrap$\text{bootstrap}$ 的時候，得到了幾份(xn,yn)$(x_n,y_n)$ ， 那麼(xn,yn)$(x_n,y_n)$ 的權重就是幾：(xn,yn)$(x_n,y_n)$ 的權重是3代表抽取到了3份(xn,yn)$(x_n,y_n)$ ，權重是4代表抽取到了4份(xn,yn)$(x_n,y_n)$ ，所以權重就代表了在資料中有幾份(xn,yn)$(x_n,y_n)$ 的複製。所以我們就可以根據bootstrap$\text{bootstrap}$ 的計算機制得到的權重u(t)n$u_n^{(t)}$ 先對資料進行抽樣，這樣就得到了一筆新的大小爲N′$N^{\prime }$ 資料D~t${\tilde{D}}_t$ ， 在這筆資料中就隱含了權重的信息。現在看來，在bagging$\text{bagging}$ 中我們是先bootstrap$\text{bootstrap}$ ，通過得到的樣本數量獲得權重；現在在boosting tree$\text{boosting tree}$ 中，我們利用了這個過程的逆過程，根據權重來得到樣本的數量，這樣做的目的是爲了不改變底層的decision tree$\text{decision tree}$ 算法。

所以在boosting tree$\text{boosting tree}$ 中，我們沒有更改decision tree$\text{decision tree}$ 的部分， 沒有更改adaptive boosting$\text{adaptive boosting}$ 的部分， 而是在中間的環節按照樣本的權重做了一個抽樣的過程得到新的資料 D~t${\tilde{D}}_t$ 然後餵給 decision tree$\text{decision tree}$ 。

boosting tree$\text{boosting tree}$ ：
AdaBoost+sampling∝u(t)+DecisionTree(D~t)$AdaBoost+sampling\propto u^{(t)}+DecisionTree({\tilde{D}}_t)$

1.2 - 提升樹的一些改進

在adaboost$adaboost$ 中，當得到了一個gt$g_t$ 的時候，我們下一步需要作出的決定是這個gt$g_t$ 該以多大的權重加入到G$G$ 中。這個權重我們記爲αt${\alpha }_t$ ， αt${\alpha }_t$ 的計算公式如下：

αt=ln⧫t=ln1−ϵtϵt−−−−−√$${\alpha }_t=ln{⧫}_t=ln\sqrt{\frac{1-{ϵ}_t}{{ϵ}_t}}$$

其中ϵt${ϵ}_t$ 指的是gt$g_t$ 的錯誤率。

這樣可能會出現一個問題：
如果我們用於訓練的資料完全是不同的，那麼一棵完全長成的決策樹的Ein$E_{in}$ 就是0$0$ ， 那麼Euin=0$E_{in}^u=0$ ， 那麼ϵt=0${ϵ}_t=0$ ，所以αt=∞${\alpha }_t=\mathrm{\infty }$ 。所以在這種情況下，最終只是得到了一棵“最好”的樹，這就違背了我們的大主題：aggregation$aggregation$ 。
問題出在哪裏呢？因爲我們把所有的數據都餵給了算法， 並且算法能得到的是一個完全長成的樹。所以如果要解決這個問題的話，有兩個方面可以着手：

• 不要把所有的數據都餵給算法；
• 對決策樹構造算法做一些限制；

通過這樣的技巧我們就可以得到一棵“弱”一點的樹。其實我們通過bootstrap$\text{bootstrap}$ 抽樣已經做到了不將所有的數據都餵給算法。另外通過採用簡單的策略，例如限制決策樹的高度也可以得到一棵比較“弱”的樹。

所以在實際的應用中，提升樹通常是如下的形式：原來的adaboost$\text{adaboost}$ 算法的框架下，根據權重進行採樣sampling$\text{sampling}$ ，從而得到隱含有權重意義的數據D~t${\tilde{D}}_t$ ，並且通過這樣的採樣方式也可以避免得到一棵所謂“最好”的樹，然後將D~t${\tilde{D}}_t$ 餵給decision tree$\text{decision tree}$ ，但是decision tree$decisiontree$ 的構造要加一點限制，通常是限制樹的高度，也就是利用數據D~t${\tilde{D}}_t$ 構造一棵pruned decision tree$\text{pruned decision tree}$ 。

boosting tree$\text{boosting tree}$ ：
AdaBoost+sampling∝u(t)+pruned Decision Tree(D~t)$AdaBoost+sampling\propto u^{(t)}+prunedDecisionTree({\tilde{D}}_t)$

1.3 - 提升樹實例

上面提到在boosting tree$\text{boosting tree}$ 算法中，決策樹在構造的時候需要限制樹的高度， 得到一些“弱”一點的樹， 再和adaboost$\text{adaboost}$ 搭配起來。我們考慮一種極端的情況，如果我們限制樹的高度小於等於1，此時的決策樹變爲決策樹樁。那麼adaboost$\text{adaboost}$ 和這樣的decision tree（height<=1）$\text{decision tree}（height<=1）$ 搭配起來會是什麼樣子的呢？其實這個時候的boosting tree$\text{boosting tree}$ 就退化爲了boosting stump$\text{boosting stump}$ 。

因爲針對每一個樣本集合，這時decision tree（CART）$decisiontree（CART）$ 需要做的就只是選擇一個分支條件 b(x)$b(x)$ 將樣本集合劃分爲兩個子樹。其劃分的依據就是要使得劃分之後的數據的不純度最低：

b(x)=argmindecision stump h(x)∑c=12|Dc with h|⋅impurity(Dc with h)$$b(x)=\underset{decisionstumph(x)}{argmin}\sum _{c=1}^2|D_{c}withh|\cdot impurity(D_{c}withh)$$

這個時候就幾乎不會出現ϵ=0$ϵ=0$ 的情況， 那麼這個時候也不見得會做抽樣，而是直接在decision stump$decisionstump$ 中考慮權重。

所以簡單來說，提升樹用於分類只是將AdaBoost$\text{AdaBoost}$ 算法框架中的弱分類器限制爲二類分類樹即可。

2 - 優化視角下的Adaboost

2.1 - Adaboost的指數損失函數

這一小節通過分析得到AdaBoost$\text{AdaBoost}$ 算法的損失函數是實際上是指數損失L=exp(−ys)$L=exp(-ys)$ 。並且可以證明，AdaBoost$\text{AdaBoost}$ 算法是前向分步算法在損失函數爲指數函數時的加法模型。

首先我們回憶一下AdaBoost$\text{AdaBoost}$ 中每一個樣本的權重的計算公式，u(t+1)n$u_n^{(t+1)}$ 是根據u(t)n$u_n^{(t)}$ 計算得到的。如果該樣本劃分不正確，那麼u(t+1)n=u(t)n⋅⧫t$u_n^{(t+1)}=u_n^{(t)}\cdot {⧫}_t$ ；如果該樣本劃分正確，那麼u(t+1)n=u(t)n/⧫t$u_n^{(t+1)}=u_n^{(t)}/{⧫}_t$ 。我們再來審視一下這個更新規則：樣本劃分不正確的意思就是：yn≠gt(xn)$y_n\ne g_t(x_n)$ ；樣本劃分正確的意思就是：yn=gt(xn)$y_n=g_t(x_n)$ 。那麼權重u$u$ 的更新規則就變爲：

u(t+1)n=u(t)n⋅⧫−yngt(xn)t$$u_n^{(t+1)}=u_n^{(t)}\cdot {⧫}_t^{-y_n{g}_t(x_n)}$$

而αt=ln(⧫t)=ln(1−ϵtϵt−−−−√)${\alpha }_t=ln({⧫}_t)=ln(\sqrt{\frac{1-{ϵ}_t}{{ϵ}_t}})$ ，所以⧫t=eαt${⧫}_t=e^{{\alpha }_t}$
更新規則進一步變爲：

u(t+1)n=u(t)n⋅exp(−ynαtgt(xn))$$u_n^{(t+1)}=u_n^{(t)}\cdot exp(-y_n{\alpha }_t{g}_t(x_n))$$

通過這樣的表達我們看到樣本(xn,yn)$(x_n,y_n)$ 最終的權重u(T+1)n$u_n^{(T+1)}$ 和初始的u(1)n$u_n^{(1)}$ 的關係如下：

u(T+1)n=u(1)n⋅∏t=1Texp(−ynαtgt(xn))=1N⋅exp(−yn∑t=1Tαtgt(xn))$$u_n^{(T+1)}=u_n^{(1)}\cdot \prod _{t=1}^{T}exp(-y_n{\alpha }_t{g}_t(x_n))=\frac{1}{N}\cdot exp(-y_n\sum _{t=1}^T{\alpha }_t{g}_t(x_n))$$

我們將∑Tt=1αtgt(x)$\sum _{t=1}^T{\alpha }_t{g}_t(x)$ 稱爲voting score$\text{voting score}$。因爲最後我們需要根據這個分數加一個sign$sign$ 的操作來做分類的決定，即我們最終得到的模型是：G(x)=sign(∑Tt=1αtgt(x))$G(x)=sign(\sum _{t=1}^T{\alpha }_t{g}_t(x))$ 。從上面的式子可以看出AdaBoost$\text{AdaBoost}$ 中的每一個數據點的權重u(T+1)n$u_n^{(T+1)}$ 正比於負yn$y_n$ 和voting score$\text{voting score}$ 的乘積的exponential$\text{exponential}$ 。

我們知道AdaBoost$\text{AdaBoost}$ 是linear blending$\text{linear blending}$ 的延伸， 也就是要將g$g$ 線性的融合在一起。在linear blending$\text{linear blending}$ 中我們可以將整個過程分爲兩步：1. 將所有的g$g$ 當做是一個特徵轉換；2. 將特徵轉換之後的結果使用一個線性的模型融合起來。

linear blending=linear model+hypothesis as transform$linearblending=linearmodel+hypothesisastransform$

G(xn)=sign(∑t=1Tαtwtgt(xn)ϕt(xn))$$G(x_n)=sign(\sum _{t=1}^T\underset{w_t}{\underbrace{{\alpha }_t}}\underset{{\varphi }_t(x_n)}{\underbrace{g_t(x_n)}})$$

因爲gt(xn)$g_t(x_n)$ 可以視爲特徵轉換，我們將其記爲ϕt(xn)${\varphi }_t(x_n)$ ，將每一個gt(xn)$g_t(x_n)$ 的權重記爲wt$w_t$ 。這時， voting score$votingscore$ 就變成了wTΦ(xn)$w^T\mathrm{\Phi }(x_n)$ 。這樣我們就得到了一個我們比較熟悉的形式， 因爲在硬間隔的SVM$\text{SVM}$ 中：margin=yn⋅(wTϕ(xn)+b)||w||$margin=\frac{y_n\cdot (w^T\varphi (x_n)+b)}{||w||}$ ， 表示這個數據點距離邊界有多遠。所以在這裏voting score$votingscore$ （雖然和上面的相比少了一些項）也是某一種距離， 也是某一種margin$margin$ ， 也是在某一個空間中這個點到分割線的距離的一種衡量。

所以 yn⋅(voting score)$y_n\cdot (votingscore)$ 就相當於在SVM$SVM$ 中的沒有歸一化的margin$margin$ ，也可以說是函數間隔。結合我們對SVM$\text{SVM}$ 的認識，我們希望 yn⋅(voting score)$y_n\cdot (votingscore)$ 越大越好，即首先這個值要是個正的，正值保證了劃分的正確性；其次要儘量的大，這樣就能有更大的置信區間或者說更大的margin$\text{margin}$ 。所以我們就會希望 exp(−yn(voting score))$exp(-y_n(votingscore))$ 越小越好。也就是每一個數據點的權重 u(T+1)n$u_n^{(T+1)}$ 要越小越好。

通過上面的分析我們知道AdaBoost$AdaBoost$想要達到large margin$largemargin$ 的效果，就是要努力的使所有的yn⋅(voting score)$y_n\cdot (votingscore)$ 變大，就是要使所有的exp(−yn(voting score))$exp(-y_n(votingscore))$ 變小。就是要最小化∑Nn=1u(T+1)n$\sum _{n=1}^N{u}_n^{(T+1)}$， 現在可以將adaboost$\text{adaboost}$ 的損失函數定義爲：

L=∑n=1Nu(T+1)n=1N∑n=1Nexp(−yn∑t=1Tαtgt(xn))(1)$$\begin{array}{}\text{(1)}& L=\sum _{n=1}^N{u}_n^{(T+1)}=\frac{1}{N}\sum _{n=1}^{N}exp(-y_n\sum _{t=1}^T{\alpha }_t{g}_t(x_n))\end{array}$$

所以得到了AdaBoost$AdaBoost$ 的損失函數爲指數損失函數。

2.2 - 又一個0/1誤差的上界

畫出0/1 error$\text{0/1 error}$ 和AdaBoost error$\text{AdaBoost error}$ 的曲線發現，exponential error$exponentialerror$（圖中的曲線）是0/1 error$0/1error$ （圖中的折線）的一個上限。我們之前就碰到過0/1 error$0/1error$ 的一些上限，SVM$\text{SVM}$ 的hinge error(max(1−sy,0))$\text{hinge error}(max(1-sy,0))$ ，logistic regression$\text{logistic regression}$ 的scale cross entropy(ln(1+exp(−ys)))$\text{scale cross entropy}(ln(1+exp(-ys)))$都是0/1 error$0/1error$ 的上限，我們之前都是利用這些上限將0/1 error$0/1error$ 做到最小，從而將分類問題做好。

現在我們從另一個角度看到Adaboost$Adaboost$ 通過最小化∑Nn=1u(T+1)n$\sum _{n=1}^N{u}_n^{(T+1)}$ 以使得得到的邊界有large margin$largemargin$ 的效果，所以adaboost$adaboost$ 算法在函數

∑n=1Nexp(−yn∑t=1Tαtgt(xn))(2)$$\begin{array}{}\text{(2)}& \sum _{n=1}^{N}exp(-y_n\sum _{t=1}^T{\alpha }_t{g}_t(x_n))\end{array}$$

上做最小化，我們就將(2)$(2)$ 定義爲adaboost error measure$adaboosterrormeasure$ 。最終通過最小化erradaˆ$er{r}_{\widehat{ada}}$ 將err0/1$er{r}_{0/1}$ 做到最好。

• err0/1(s,y)=|[ys≤0]|$er{r}_{0/1}(s,y)=|[ys\le 0]|$
• erradaˆ(s,y)=exp(−ys)$er{r}_{\widehat{ada}}(s,y)=exp(-ys)$

在AdaBoost$AdaBoost$ 中既然我們想要所有的樣本點的權重越小越好，也就是想要最後的權重的總和越小越好，也就是要在上式(1)$(1)$ 中做最小化。AdaBoost$AdaBoost$ 就是要做如下的一個最優化的問題：

minhEADA=1N∑n=1Nexp(−yn∑t=1Tαtgt(xn))$$\underset{h}{min}{E}_{ADA}=\frac{1}{N}\sum _{n=1}^{N}exp(-y_n\sum _{t=1}^T{\alpha }_t{g}_t(x_n))$$

解決上述最優化問題利用的工具是梯度下降法，梯度下降法的思路基本上是：當想要最小化一個函數的時候，可以看看從當前的點出發往哪個方向v$v$ 走一小步會使得結果變好。 通常的方法是在該點附近使用泰勒公式進行展開，之後通過分析可以得到能使得函數變小的最好的方向就是負梯度的方向。沿着這個方向走一個小小的步長η$\eta$ ， 這樣就離我們的目標更近了一步。

泰勒展開

min||v||=1 Ein(wt+ηv)≈Ein(wt)+ηvT▽Ein(wt)(3)$$\begin{array}{}\text{(3)}& \underset{||v||=1}{min}{E}_{in}(w_t+\eta v)\approx E_{in}(w_t)+\eta v^T▽E_{in}(w_t)\end{array}$$

現在如果我們想要找一個函數gt$g_t$ 當做方向，（向量和函數在本質上是一樣的。當操作的對象是向量的時候，我們根據下標index$index$ 可以得到向量中的值；當操作的對象是函數的時候，我們根據輸入x$x$ 可以得到函數的輸出值，所以向量的index$index$ 是整數，函數的index$index$ 是實數。這樣看來，函數就是無限維度的向量）。在gradient descent$gradientdescent$ 中，我們想要找一個好的向量方向，沿着這個向量方向走一個步長η$\eta$ 來做最優化；在這裏我們想要找一個好的函數h(x)$h(x)$ ，沿着這個函數走一個步長η$\eta$ 來做最優化。
當前的adaboost$adaboost$ 已經得到函數是∑t−1τ=1ατgτ(xn)$\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n)$ , 所以就是要在∑t−1τ=1ατgτ(xn)$\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n)$ 上加一個好的函數h(xn)$h(x_n)$ （向量方向）和步長 η$\eta$ 的乘積ηh(xn)$\eta h(x_n)$ 來使得最終的結果變好一點。

minh Eadaˆ=1N∑n=1Nexp(−yn(∑τ=1t−1ατgτ(xn)+ηh(xn)))(4)$$\begin{array}{}\text{(4)}& \underset{h}{min}\widehat{E_{ada}}=\frac{1}{N}\sum _{n=1}^{N}exp(-y_n(\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n)+\eta h(x_n)))\end{array}$$

現在我們要想辦法將(4)$(4)$ 變成(3)$(3)$ 的形式，

minhEadaˆ=1N∑n=1Nexp(−yn(∑τ=1t−1ατgτ(xn)+ηh(xn)))=1N∑n=1Nexp((−yn)∑τ=1t−1ατgτ(xn))⋅exp(−ynηh(xn))=∑n=1Nu(t)nexp(−ynηh(xn))≈taylor∑n=1Nu(t)n(1−ynηh(xn))=∑n=1Nu(t)n−η∑n=1Nu(t)nynh(xn)$$\begin{array}{rl}\underset{h}{min}\widehat{E_{ada}}& =\frac{1}{N}\sum _{n=1}^{N}exp(-y_n(\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n)+\eta h(x_n)))\\ & =\frac{1}{N}\sum _{n=1}^{N}exp((-y_n)\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n))\cdot exp(-y_n\eta h(x_n))\\ & =\sum _{n=1}^N{u}_n^{(t)}exp(-y_n\eta h(x_n))\\ & \stackrel{taylor}{\approx }\sum _{n=1}^N{u}_n^{(t)}(1-y_n\eta h(x_n))\\ & =\sum _{n=1}^N{u}_n^{(t)}-\eta \sum _{n=1}^N{u}_n^{(t)}{y}_{n}h(x_n)\end{array}$$

泰勒展開式：exp(x)=1+x+x22!+x33!+⋅+xNN!+⋯$exp(x)=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdot +\frac{x^N}{N!}+\cdots$

通過上面的操作得到了和在gradient descient$gradientdescient$ 中類似的形式，現在我們的目標是要找到一個好的 h$h$ 來最小化∑Nn=1u(t)n(−ynh(xn))$\sum _{n=1}^N{u}_n^{(t)}(-y_{n}h(x_n))$ 。對於二分類問題來說：

===∑n=1Nu(t)n(−ynh(xn))∑n=1Nu(t)n{−1if yn=h(xn)1if yn≠h(xn)−∑n=1Nu(t)n+∑n=1Nu(t)n{0if yn=h(xn)2if yn≠h(xn)−∑n=1Nu(t)n+2Eu(t)in⋅N(1)(2)(3)(4)$$\begin{array}{}\text{(1)}& & \sum _{n=1}^N{u}_n^{(t)}(-y_{n}h(x_n))\text{(2)}& =& \sum _{n=1}^N{u}_n^{(t)}\{\begin{array}{r}-1if{y}_n=h(x_n)\\ 1if{y}_n\ne h(x_n)\end{array}\text{(3)}& =& -\sum _{n=1}^N{u}_n^{(t)}+\sum _{n=1}^N{u}_n^{(t)}\{\begin{array}{r}0if{y}_n=h(x_n)\\ 2if{y}_n\ne h(x_n)\end{array}\text{(4)}& =& -\sum _{n=1}^N{u}_n^{(t)}+2E_{in}^{u^{(t)}}\cdot N\end{array}$$

我們的出發點是要找到一個好的h(x)$h(x)$ 讓∑Nn=1u(t)n(−ynh(xn))$\sum _{n=1}^N{u}_n^{(t)}(-y_{n}h(x_n))$ 變小，經過上面的推導發現想要讓∑Nn=1u(t)n(−ynh(xn))$\sum _{n=1}^N{u}_n^{(t)}(-y_{n}h(x_n))$ 變小的就要讓Eu(t)in$E_{in}^{u^{(t)}}$ 變小。能夠使得Eu(t)in$E_{in}^{u^{(t)}}$ 變小的正是adaboost$adaboost$ 中的base algorithm$basealgorithm$ 算法 A$\mathcal{A}$ 。所以 base algorithm$basealgorithm$ 找到了一個好的函數方向。我們原來認爲A$\mathcal{A}$ 找到的gt$g_t$ 只是爲了讓Eu(t)in$E_{in}^{u^{(t)}}$ 變小， 現在經過這樣的推導發現，這個gt$g_t$ 是一個能夠讓Eadaˆ$E_{\widehat{ada}}$ 變小的函數方向。

adaboost$adaboost$ 通過大概的最小化Eadaˆ=∑Nn=1u(t)nexp(−ynηh(xn))$\widehat{E_{ada}}=\sum _{n=1}^N{u}_n^{(t)}exp(-y_n\eta h(x_n))$ 得到了一個好的函數（方向），按照gradient descent$gradientdescent$ 的做法，現在要做的就是沿着這個方向走一小步。但是在這裏我們不僅僅滿足於只走一小步，而是想要走一大步。也就是說在gt$g_t$ 被固定了之後，想要選擇一個最大的η$\eta$ 來使得Eadaˆ$\widehat{E_{ada}}$ 最小：

minηEadaˆ=∑n=1Nu(t)nexp(−ynηgt(xn))◯$$\underset{\eta }{min}\widehat{E_{ada}}=\sum _{n=1}^N\underset{◯}{\underbrace{u_n^{(t)}exp(-y_n\eta g_t(x_n))}}$$

那麼怎麼來得到這個最好的步長 η$\eta$ 呢？

• 當yn=gt(xn)$y_n=g_t(x_n)$ 的時候，◯=u(t)nexp(−η)$◯=u_n^{(t)}exp(-\eta )$
• 當yn≠gt(xn)$y_n\ne g_t(x_n)$ 的時候，◯=u(t)nexp(+η)$◯=u_n^{(t)}exp(+\eta )$

Eadaˆ=(∑n=1Nu(t)n)⋅((1−ϵ)exp(−η)+ϵt exp(+η))$$\widehat{E_{ada}}=(\sum _{n=1}^N{u}_n^{(t)})\cdot ((1-ϵ)exp(-\eta )+{ϵ}_{t}exp(+\eta ))$$

對η$\eta$ 求導來得到最優解:

∂Eadaˆ∂η=0⟶ηt=ln1−ϵtϵ−−−−−√=αt$$\frac{\mathrm{\partial }\widehat{E_{ada}}}{\mathrm{\partial }\eta }=0⟶{\eta }_t=ln\sqrt{\frac{1-{ϵ}_t}{ϵ}}={\alpha }_t$$

所以這樣看來， adaboost$adaboost$ 使用base algorithm A$basealgorithm\mathcal{A}$ 來得到一個最好的函數方向，當最好的函數方向gt$g_t$ 得到之後，adaboost$adaboost$ 給這個gt$g_t$ 一個權重或者說是票數αt${\alpha }_t$ ，現在我們知道了這個由adaboost$adaboost$ 給出的權重αt${\alpha }_t$ 是一個最佳問題的解。所以adaboost$adaboost$ 通過也可以稱爲steepest descent with approximate functional gradient$steepestdescentwithapproximatefunctionalgradient$ 。

3 - Gradient Boosting

上一小節對adaboost$\text{adaboost}$ 做了另一種解釋，adaboost$\text{adaboost}$ 的每一輪可以看做是在最小化exponential error$\text{exponential error}$ ：在每一輪中首先找出一個h$h$ ，將這個h$h$ 作爲gt$g_t$ ；然後再決定要沿着這個gt$g_t$ 走多遠的距離，這個距離會變成gt$g_t$ 的權重αt${\alpha }_t$。所以一共有兩個最佳化的過程：一個是對h$h$ 的最佳化過程， 一個是對η$\eta$ 的最佳化過程。

minηminh1N∑n=1Nexp(−yn(∑τ=1t−1αtgτ(xn)+ηh(xn)))(1)$$\begin{array}{}\text{(1)}& \underset{\eta }{min}\underset{h}{min}\frac{1}{N}\sum _{n=1}^{N}exp(-y_n(\sum _{\tau =1}^{t-1}{\alpha }_t{g}_{\tau }(x_n)+\eta h(x_n)))\end{array}$$

這樣的概念可以不可以用在不同的error function$\text{error function}$ 上呢？也就是說不再僅僅只是(1)$(1)$ 中的exponential error$\text{exponential error}$ 。例如如果我們想做的是logistic regression$logisticregression$ 的話，我們關注的error$error$ 是cross entropy error$crossentropyerror$ ，如果我們想做的是regression$regression$ 的話，我們關注的error$error$ 是squared error$squarederror$ 。

3.1 - 前向分步算法優化加法模型

基於上述的討論，將（1）$（1）$ 式進行擴展，將err$err$ 換掉，不再侷限於使用exponential error$exponentialerror$ ，而是可以使用任何我們感興趣的error function$errorfunction$ 。

minηminh1N∑n=1Nerr(∑τ=1t−1αtgτ(xn)+ηh(xn),yn)(1)$$\begin{array}{}\text{(1)}& \underset{\eta }{min}\underset{h}{min}\frac{1}{N}\sum _{n=1}^{N}err(\sum _{\tau =1}^{t-1}{\alpha }_t{g}_{\tau }(x_n)+\eta h(x_n),y_n)\end{array}$$

這是一個新的aggregation$aggregation$ 的模型：從當前已經得到的模型∑t−1τ=1αtgτ(xn)$\sum _{\tau =1}^{t-1}{\alpha }_t{g}_{\tau }(x_n)$ 出發，沿着h(xn)$h(x_n)$ 走步長η$\eta$ ，目的是爲了讓err$err$ 變小，所以同樣的在每一輪都是做兩件事：先決定一個好的方向h$h$ 作爲gt$g_t$ ，然後決定要沿着這個gt$g_t$ 更新多遠得到步長η$\eta$ 並作爲權重αt${\alpha }_t$ 將gt$g_t$ 融入到最中的G$G$ 中。所以這樣的模型很像是adaboost$adaboost$ 只不過是對adaboost$adaboost$ 做了延伸，我們稱之爲gradientBoost$gradientBoost$ ，由不同的error funciton$errorfunciton$ 就可以解決不同的問題例如regression$regression$ 或者是soft classification$softclassification$ 。

3.2 - 提升樹用於迴歸

當我們想要使用boosting tree$\text{boosting tree}$ 做regression$regression$ 的時候應該怎麼做呢？我們關心的是squared error$squarederror$ ：err(s,y)=(s−y)2$err(s,y)=(s-y{)}^2$

minηminh1N∑n=1Nerr(∑τ=1t−1ατgτ(xn)sn+ηh(xn),yn)$$\underset{\eta }{min}\underset{h}{min}\frac{1}{N}\sum _{n=1}^{N}err(\underset{s_n}{\underbrace{\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n)}}+\eta h(x_n),y_n)$$

我們將使用當前已經得到的模型∑t−1τ=1ατgτ(xn)$\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }(x_n)$ 對樣本xn$x_n$ 做出的預測結果記爲sn$s_n$ ，我們的目的就是要從sn$s_n$ 出發沿着某個h(xn)$h(x_n)$ 更新某個步長η$\eta$ 來使得err$err$ 變小。 所以第一步我們首先找一個最好的h(x)$h(x)$ 作爲gt$g_t$ ：

minh1N∑n=1Nerr(sn+ηh(xn),yn)≈tarlorminh1N∑n=1Nerr(sn,yn)+1N∑n=1Nηh(xn)∂err(s,yn)∂s|s=sn=minhconstants+ηN∑n=1Nh(xn)2(sn−yn)◯$$\begin{array}{rl}& \underset{h}{min}\frac{1}{N}\sum _{n=1}^{N}err(s_n+\eta h(x_n),y_n)\\ & \stackrel{tarlor}{\approx }\underset{h}{min}\frac{1}{N}\sum _{n=1}^{N}err(s_n,y_n)+\frac{1}{N}\sum _{n=1}^N\eta h(x_n)\frac{\mathrm{\partial }err(s,y_n)}{\mathrm{\partial }s}{|}_{s=s_n}\\ & =\underset{h}{min}\underset{◯}{\underbrace{constants+\frac{\eta }{N}\sum _{n=1}^{N}h(x_n)2(s_n-y_n)}}\end{array}$$

我們現在是要找一個h(xn)$h(x_n)$ 來使得◯$◯$ 最小， 那麼易知當h(xn)=−∞⋅(sn−yn)$h(x_n)=-\mathrm{\infty }\cdot (s_n-y_n)$ 的時候，上式可以取得最小。因爲首先−(sn−yn)$-(s_n-y_n)$ 保證了結果是負數，再乘以一個∞$\mathrm{\infty }$ ，就是負的無窮大，這是最直觀的該最小化問題的解。 但是因爲在這裏h(xn)$h(x_n)$ 相當於一個方向， 所以應該對其長度進行一下限制，這樣就可以避免出現−∞$-\mathrm{\infty }$ 。並且長度的問題最後交給步長 η$\eta$ 來解決。
基於以上的討論我們應該解決的問題是：

min||h||=1constants+ηN∑n=1Nh(xn)2(sn−yn)$$\underset{||h||=1}{min}constants+\frac{\eta }{N}\sum _{n=1}^{N}h(x_n)2(s_n-y_n)$$

但是這樣的話變成了需要求解一個有條件||h||=1$||h||=1$ 的最佳化問題，因爲我們並不在乎h$h$ 的大小，所以我們將其作爲一個懲罰項放入目標函數中的，只是限制使得h(x)$h(x)$ 不要太大即可，新的問題變爲：

minhconstants+ηN∑n=1N(2h(xn)(sn−yn)+h(xn)2)=constants+ηN∑n=1N(constant+(h(xn)−(yn−sn)residual)2)$$\begin{array}{rl}& \underset{h}{min}constants+\frac{\eta }{N}\sum _{n=1}^N(2h(x_n)(s_n-y_n)+h(x_n{)}^2)\\ & =constants+\frac{\eta }{N}\sum _{n=1}^N(constant+(h(x_n)-\underset{residual}{\underbrace{(y_n-s_n)}}{)}^2)\end{array}$$

yn$y_n$ 是目標值，sn$s_n$ 是目前給出的預測值， 我們將yn−sn$y_n-s_n$ 定義爲殘差residual$residual$。爲了達到最小化的目的，就是要找一個h$h$ ， 使得對於所有的樣本來說，h(xn)$h(x_n)$ 和(yn−sn)$(y_n-s_n)$ 儘可能的接近，即h(xn)$h(x_n)$ 和(yn−sn)$(y_n-s_n)$ 的均方誤差要儘可能的小。

所以我們迴歸問題的提升樹只要在每一輪都擬合當前模型的殘差就好了， 即在數據{(xn,yn−sn)}$\{(x_n,y_n-s_n)\}$ 上做一個regression$regression$ 就好了。

所以當我們使用gradientboost$gradientboost$ 來做regression$regression$ 的時候，我們需要利用base algorithm$basealgorithm$ 在residual$residual$ 數據{(xn,yn−sn)}$\{(x_n,y_n-s_n)\}$ 上找一個好的gt$g_t$ （方向）； 而在adaboost$adaboost$ 中的base algorithm$basealgorithm$ 是根據加權的數據{xn,yn}$\{x_n,y_n\}$ 來找到一個好的gt$g_t$ 。

在上一步中我們知道了怎麼找到一個好的gt$g_t$ 了，也就是要求解一個regression$regression$ 問題來擬合xn$x_n$ 和yn−sn$y_n-s_n$ ， 現在的問題是，當找到了一個好的gt$g_t$ 之後，我們要怎麼決定這個gt$g_t$ 的權重 η$\eta$ 呢？同樣是求解如下的一個最優化的問題：

minη1N∑n=1N(sn+ηgt(xn)−yn)2=1N∑n=1N((yn−sn)residual−ηgt(xn))2$$\underset{\eta }{min}\frac{1}{N}\sum _{n=1}^N(s_n+\eta g_t(x_n)-y_n{)}^2=\frac{1}{N}\sum _{n=1}^N(\underset{residual}{\underbrace{(y_n-s_n)}}-\eta g_t(x_n){)}^2$$

爲了最小化我們需要求解的是一個在數據集{(gt(xn),residual)}$\{(g_t(x_n),residual)\}$ 上的單變量η$\eta$ 的線性迴歸問題。所以當使用gradientboost$gradientboost$ 來做regression$regression$ 的時候，在需要求解gt$g_t$ 的權重αt${\alpha }_t$ 的時候是使用gt$g_t$ 來做一個特徵轉換，然後求解一個簡單的linear regression$linearregression$ 。

把以上討論的東西都合在一起就得到了一個算法我們稱之爲Gradient Boosted Decision Tree(GBDT)$GradientBoostedDecisionTree(GBDT)$ 。剛剛只是講解了gradient boosted$gradientboosted$ ，這裏的decision tree$decisiontree$ 用做base learner$baselearner$ 。

Gradient Boosted Decision Tree(GBDT)$GradientBoostedDecisionTree(GBDT)$
for regression$forregression$
s1=s2=⋯=sN=0$s_1=s_2=\cdots =s_N=0$
for t=1,2,⋯,T$fort=1,2,\cdots ,T$
1. obtain gt by A({(xn,yn−sn)}) where A is a(squared error) regression algorithm$obtain{g}_{t}by\mathcal{A}(\{(x_n,y_n-s_n)\})where\mathcal{A}isa(squarederror)regressionalgorithm$
2. compute αt=OneVarLinearRegression({(gt(xn),yn−sn)})$compute{\alpha }_t=OneVarLinearRegression(\{(g_t(x_n),y_n-s_n)\})$
3. update sn⟵sn+αtgt(xn)$update{s}_n⟵s_n+{\alpha }_t{g}_t(x_n)$
returnG(x)=∑αtgt(x)$returnG(x)=\sum _{}^{}{\alpha }_t{g}_t(x)$

因爲初始的s1=s2=⋯=sN=0$s_1=s_2=\cdots =s_N=0$ ，所以在第一輪的時候base learner$baselearner$ ， 這裏是用decision tree$decisiontree$ 做的是一個正常的regression$regression$ ， 從第二輪之後纔在數據{(xn,yn−sn)}$\{(x_n,y_n-s_n)\}$上做regression$regression$ 。 在得到了gt$g_t$ 之後我們要想辦法得到一個αt${\alpha }_t$ ，這時就是在{(gt(xn),yn−sn)}$\{(g_t(x_n),y_n-s_n)\}$上做一個單變量的迴歸問題。當計算完成之後， 就需要對每一個樣本的分數進行更新，sn⟵sn+αtgt(xn)$s_n⟵s_n+{\alpha }_t{g}_t(x_n)$ 。這樣做了T$T$ 輪之後就可以得到一堆decision tree$decisiontree$ 最後得到G$G$ 。

---

通過上述的推導可以引出gradient boosting$\text{gradient boosting}$ 。 到現在爲止我們分析了提升樹算法的損失函數爲指數損失函數和平方誤差損失函數的情況，但是對於一般的損失函數而言，優化的過程並不是這麼簡單的。針對這一問題Feridman$\text{Feridman}$ 提出了梯度提升（gradient boosting$\text{gradient boosting}$ ）。其關鍵有點類似提升樹用於迴歸的推導：利用損失函數的負梯度在當前模型的值作爲迴歸問題提升樹中的殘差的近似值，以此來擬合一個迴歸樹。

rn≈−[∂L(y,f(xi))∂f(xi)]f(x)=fm−1(x)$$r_n\approx -[\frac{\mathrm{\partial }L(y,f(x_i))}{\mathrm{\partial }f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$

4 - Summary of Aggregation Models

4.1 - Blending Models

用於當手頭已經有了一些gt$g_t$ 的時候，將它們進行集成， 集成的方式有如下的三種：

• uniform$uniform$ ：每一個gt$g_t$ 都是同樣的地位，可以通過voting$voting$ 或者是averaging$averaging$ 來進行集成。
• non$non$ -uniform$uniform$ ：如果每一個gt$g_t$ 有不同的重要性的時候，可以將這些gt$g_t$ 看成是特徵轉換，然後再餵給一個linear model$linearmodel$ 來學習每一個gt$g_t$ 的權重。
• conditional$conditional$ ：如果要在不同的情況下使用不同的gt$g_t$ ， 同樣將每一個gt$g_t$ 看成是特徵轉換， 只是在第二個階段的學習當中， 使用non linear model$nonlinearmodel$ 而不是linear model$linearmodel$ 。這樣的模型稱爲stacking$stacking$ 。

通過uniform$uniform$ 的方式，不同的gt$g_t$ 會取長補短，相互修正，得到的模型比較穩定。通過non uniform$nonuniform$ 或者是conditional$conditional$ 的方式可以得到比較複雜的模型，但是要小心overfitting$overfitting$ 的風險。

4.2 - Aggregation-Learning Modeling

learning$learning$ 指的是我們還沒有g$g$，我們要邊學g$g$ 邊考慮怎麼樣對它們進行集成，

• Bagging$Bagging$：通過bootstrap$bootstrap$ 機制來得到不同的gt$g_t$ ， 然後通過uniform$uniform$ 的形式進行集成
• AdaBoost$AdaBoost$：adaboost$adaboost$ 通過更新每一筆資料的權重的方式來得到很不一樣的gt$g_t$ ，在得到了gt$g_t$ 之後依據它們的表現來決定其在最終的G$G$ 中的權重αt${\alpha }_t$ 。從最佳化的角度來說，gt$g_t$ 是能夠使得error$error$ 降低的最好的方向，類似於梯度下降中的負梯度方向，這個權重可以理解爲要在gt$g_t$ 的方向上更新的最大的步長。
• Decision Tree$DecisionTree$：通過尋找不同的特徵劃分數據，最後在不同的條件下使用不同的g$g$ 。
• GradientBoost$GradientBoost$：將adaboost$adaboost$ 延伸到gradientboost$gradientboost$ ，不同於adaboost$adaboost$ ，在學習g$g$ 的時候不是通過更新樣本的權重，例如在regression$regression$ 的時候，是對residual$residual$ 進行擬合從而得到好的g$g$ 。

4.3 - Aggregation of Aggregation Models

• decision tree + bagging$\text{decision tree + bagging}$ 可以得到random forest$\text{random forest}$
• decision tree + adaboost$\text{decision tree + adaboost}$ 可以得到boostin tree$\text{boostin tree}$
• decision tree + gradient boost$\text{decision tree + gradient boost}$ 可以得到gradient boost decision tree$\text{gradient boost decision tree}$

4.4 - Specialty of Aggregation Models

爲什麼aggregation$aggregation$ 這樣的模型可以表現的很好呢？主要由於兩個方面的原因：首先aggregation$aggregation$ 解決了underfitting$underfitting$ ，因爲集成了很多的g$g$ 的表現，可以把這些g$g$ 看成是對原始特徵不同的feature transform$featuretransform$ ；另一個方面來說當集成了很多的g$g$ 之後，會得到一個比較“中庸”的結果，aggregation$aggregation$ 達到了regularzation$regularzation$ 的效果，

5 - 總結

這篇的主要內容是Gradient Boosted Decision Tree$GradientBoostedDecisionTree$ 。首先先講述瞭如何將adaboost$adaboost$ 和decision tree$decisiontree$ 進行搭配來得到adaboost decision tree$adaboostdecisiontree$ ，爲此引入了sampling and pruning$samplingandpruning$ 來得到一棵棵比較弱的decisiontree$decisiontree$ ，這樣adaboost$adaboost$ 和decision tree$decisiontree$ 的組合才能發揮最大的效果。之後我們使用optimization$optimization$ 的角度來重新的看adaboost$adaboost$ ， 發現adaboost$adaboost$ 每一次找到一個gt$g_t$ 就是找了一個好的方向， 這個gt$g_t$ 的權重αt${\alpha }_t$ 其實就是一個適當的步長。我們將這個模型延伸得到了gradient boosting$gradientboosting$ ，引入不同種類的error$error$ ，經過推導發現當gradient boosting$gradientboosting$ 用於regression$regression$ 的時候其實base learner$baselearner$ 是在做一個residual fitting$residualfitting$ 。