這就是XGBoost算法原理

說到XGBoost，不得不說GBDT，GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一種迭代的決策樹算法，該算法由多棵決策樹組成，所有樹的結論累加起來做最終答案。它在被提出之初就和SVM一起被認爲是泛化能力（generalization)較強的算法。近些年更因爲被用於搜索排序的機器學習模型而引起大家關注。
GBDT是基於決策樹，想學習關於決策樹的內容可以看這篇文章https://blog.csdn.net/blank_tj/article/details/82081002

---

決策樹分爲兩大類，迴歸樹和分類樹。前者用於預測實數值，如明天的溫度、用戶的年齡、網頁的相關程度；後者用於分類標籤值，如晴天/陰天/霧/雨、用戶性別、網頁是否是垃圾頁面。這裏要強調的是，前者的結果加減是有意義的，如10歲+5歲-3歲=12歲，後者則無意義，如男+男+女=到底是男是女？ GBDT的核心在於累加所有樹的結果作爲最終結果，就像前面對年齡的累加（-3是加負3），而分類樹的結果顯然是沒辦法累加的，所以GBDT中的樹都是迴歸樹，不是分類樹，這點對理解GBDT相當重要（儘管GBDT調整後也可用於分類但不代表GBDT的樹是分類樹）。

迴歸樹總體流程是在每個節點（不一定是葉子節點）都會得一個預測值，以年齡爲例，該預測值等於屬於這個節點的所有人年齡的平均值。分枝時窮舉每一個feature的每個閾值找最好的分割點，但衡量最好的標準不再是最大熵，而是最小化均方差：即（每個人的年齡-預測年齡）^2 的總和 / N，或者說是每個人的預測誤差平方和 除以 N。這很好理解，被預測出錯的人數越多，錯的越離譜，均方差就越大，通過最小化均方差能夠找到最靠譜的分枝依據。

加法模型

XGBoost算法可以看成是由K棵樹組成的加法模型：

y^i=∑Kk=1fk(xi),fk∈F(1)${\hat{y}}_i=\sum _{k=1}^K{f}_k(x_i),f_k\in F(1)$

其中F$F$ 爲所有樹組成的函數空間，以迴歸任務爲例，迴歸樹可以看作爲一個把特徵向量映射爲某個score的函數。該模型的參數爲：Θ=f1,f2,..,fK$\mathrm{\Theta }=f_1,f_2,..,f_K$ 。於一般的機器學習算法不同的是，加法模型不是學習d維空間中的權重，而是直接學習函數（決策樹）集合。上述加法模型的目標函數定義爲：

Obj=∑ni=1 l(yi,y^i)+∑Kk=1Ω(fk)$Obj=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\mathrm{\Omega }(f_k)$

其中 Ω$\mathrm{\Omega }$ 表示決策樹的複雜度，那麼該如何定義樹的複雜度呢？比如，可以考慮樹的節點數量、樹的深度或者葉子節點所對應的分數的L2$L2$ 範數等等。

如何來學習加法模型呢？

解這一優化問題，可以用前向分佈算法（forward stagewise algorithm）。因爲學習的是加法模型，如果能夠從前往後，每一步只學習一個基函數及其係數（結構），逐步逼近優化目標函數，那麼就可以簡化複雜度。這一學習過程稱之爲Boosting。具體地，我們從一個常量預測開始，每次學習一個新的函數，過程如下：

y^0i=0y^1i=f1(xi)=y^0i=f1(xi)y^2i=f1(xi)+f2(xi)=y^1i+f2(xi)...y^ti=∑tk=1fk(xi)=y^t−1i+ft(xi)$$\begin{gathered} {\hat{y}}_i^0=0 \\ {\hat{y}}_i^1=f_1(x_i)={\hat{y}}_i^0=f_1(x_i) \\ {\hat{y}}_i^2=f_1(x_i)+f_2(x_i)={\hat{y}}_i^1+f_2(x_i) \\ ... \\ {\hat{y}}_i^t=\sum _{k=1}^t{f}_k(x_i)={\hat{y}}_i^{t-1}+f_t(x_i) \end{gathered}$$

那麼，在每一步如何決定哪一個函數 f$f$ 被加入呢？指導原則還是最小化目標函數。
在第t$t$ 步，模型對xi$x_i$ 的預測爲：y^ti=y^t−1i+ft(xi)${\hat{y}}_i^t={\hat{y}}_i^{t-1}+f_t(x_i)$ ，其中ft(xi)$f_t(x_i)$ 爲這一輪我們要學習的函數（決策樹）。這個時候目標函數可以寫爲：

Obj(t)=∑nt=1 l(yi,y^ti)+∑ti=iΩ(fi)   =∑ni=1l(yi,y^t−1i+ft(xi))+Ω(ft)+constant(1)$$\begin{gathered} Ob{j}^{(t)}=\sum _{t=1}^{n}l(y_i,{\hat{y}}_i^t)+\sum _{i=i}^t\mathrm{\Omega }(f_i) \\ =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{t-1}+f_t(x_i))+\mathrm{\Omega }(f_t)+constant(1) \end{gathered}$$

舉例說明，假設損失函數爲平方損失（square loss），則目標函數爲：
Obj(t)=∑ni=1(yi−(y^t−1i+ft(xi)))2+Ω(ft)+constant  =∑ni=1[2(y^t−1i−yi)ft(xi)+ft(xi)2]+Ω(ft)+constant(2)$$\begin{gathered} Ob{j}^{(t)}=\sum _{i=1}^n(y_i-({\hat{y}}_i^{t-1}+f_t(x_i)){)}^2+\mathrm{\Omega }(f_t)+constant \\ =\sum _{i=1}^n[2({\hat{y}}_i^{t-1}-y_i)f_t(x_i)+f_t(x_i{)}^2]+\mathrm{\Omega }(f_t)+constant(2) \end{gathered}$$

其中，(y^t−1i−yi)$({\hat{y}}_i^{t-1}-y_i)$ 稱之爲殘差(residual)$(residual)$ 。因此，使用平方損失函數時，GBDT算法的每一步在生成決策樹時只需要擬合前面的模型的殘差。

泰勒公式

設n是一個正整數，如果定義在一個包含α$\alpha$ 的區間上的函數f$f$ 在α$\alpha$ 點處n+1次可導，那麼對於這個區間上的任意x都有：f(x)=∑Nn=0fn(α)n!(x−α)n+Rn(x)$f(x)=\sum _{n=0}^N\frac{f^n(\alpha )}{n!}(x-\alpha {)}^n+R_n(x)$ ，其中的多項式稱爲函數在α$\alpha$ 處的泰勒展開式，Rn(x)$R_n(x)$ 是泰勒公式的餘項且是(x−α)n$(x-\alpha {)}^n$ 的高階無窮小。

根據泰勒公式把函數f(x+Δx)≈f(x)+f′(x)Δx+12f′′(x)Δx2(3)$f(x+\mathrm{\Delta }x)\approx f(x)+f^{{}^{\prime }}(x)\mathrm{\Delta }x+\frac{1}{2}{f}^{{}^{″}}(x)\mathrm{\Delta }{x}^2(3)$

由等式(1)可知，目標函數是關於變量y^t−1i+ft(xi)${\hat{y}}_i^{t-1}+f_t(x_i)$ 的函數，若把變量y^t−1i${\hat{y}}_i^{t-1}$ 看成是等式(3)中的x$x$ ，把變量ft(xi)$f_t(x_i)$ 看成是等式(3)中的Δx$\mathrm{\Delta }x$ ，則等式(1)可轉化爲：

Obj(t)=∑ni=1[l(yi,y^t−1i)+gift(xi)+12hif2t(xi)]+Ω(ft)+constant(4)$Ob{j}^{(t)}=\sum _{i=1}^n[l(y_i,{\hat{y}}_i^{t-1})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\mathrm{\Omega }(f_t)+constant(4)$

其中，gi$g_i$ 定義爲損失函數的一階導數，即gi=∂y^t−1l(yi,y^t−1)；$g_i={\mathrm{\partial }}_{{\hat{y}}^{t-1}}l(y_i,{\hat{y}}^{t-1})；$hi$h_i$ 定義爲損失函數的二階導數，即hi=∂2y^t−1l(yi,y^t−1)$h_i={\mathrm{\partial }}_{{\hat{y}}^{t-1}}^{2}l(y_i,{\hat{y}}^{t-1})$ 。

假設損失函數爲平方損失函數，則gi=∂y^t−1(y^t−1−yi)2=2(y^t−1−yi)，hi=∂2y^t−1(y^t−1−yi)2=2$g_i={\mathrm{\partial }}_{{\hat{y}}^{t-1}}({\hat{y}}^{t-1}-y_i{)}^2=2({\hat{y}}^{t-1}-y_i)，h_i={\mathrm{\partial }}_{{\hat{y}}^{t-1}}^2({\hat{y}}^{t-1}-y_i{)}^2=2$ ，把gi$g_i$ 和hi$h_i$ 帶入等式（4）和（2）。

由於函數中的常量在函數最小化的過程中不起作用，因此我們可以從等式(4)中移除掉常量項，得：

Obj(t)≈∑ni=1[gift(xi)+12hif2t(xi)]+Ω(ft)(5)$Ob{j}^{(t)}\approx \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\mathrm{\Omega }(f_t)(5)$

由於要學習的函數僅僅依賴於目標函數，從等式(5)可以看出只需爲學習任務定義好損失函數，併爲每個訓練樣本計算出損失函數的一階導數和二階導數，通過在訓練樣本集上最小化等式(5)即可求得每步要學習的函數f(x)$f(x)$ ，從而根據加法模型等式(0)可得最終要學習的模型。

XGBoost算法

一顆生成好的決策樹，假設其葉子節點個數爲T$T$，該決策樹是由所有葉子節點對應的值組成的向量w∈RT$w\in R^T$ ，以及一個把特徵向量映射到葉子節點索引(Index)$(Index)$ 的函數q:Rd→1,2,⋯,T$q:R^d\to 1,2,\cdots ,T$ 組成的。因此，決策樹可以定義爲ft(x)=wq(x)$f_t(x)=w_{q(x)}$ 。

決策樹的複雜度可以由正則項 Ω(ft)=γT+12λ∑Tj=1w2j$\mathrm{\Omega }(f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$ 來定義，即決策樹模型的複雜度由生成的樹的葉子節點數量和葉子節點對應的值向量的L2範數決定。
定義集合Ij=$I_j=$ {i|q(xi)=j $i|q(x_i)=j$ }爲所有被劃分到葉子節點j的訓練樣本的集合。等式(5)可以根據樹的葉子節點重新組織爲T$T$ 個獨立的二次函數的和：

Obj(t)≈∑ni=1[gift(xi)+12hif2t(xi)]+Ω(ft)  =∑ni=1[gift(xi)+12hif2t(xi)]+γT+12λ∑Tj=1ω2j  =∑Tj=1[(∑i∈Ijgi)ωj+12(∑i∈Ijhi+λ)ω2j]+γT(6)$$\begin{gathered} Ob{j}^{(t)}\approx \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\mathrm{\Omega }(f_t) \\ =\sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{\omega }_j^2 \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i){\omega }_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda ){\omega }_j^2]+\gamma T(6) \end{gathered}$$

定義Gj=∑i∈Ijgi，Hj=∑i∈Ijhi$G_j=\sum _{i\in I_j}{g}_i，H_j=\sum _{i\in I_j}{h}_i$ ，則等式(6)$(6)$ 可寫爲：

Obj(t)=∑Tj=1[Giωj+12(Hi+λ)ω2j]+γT$Ob{j}^{(t)}=\sum _{j=1}^T[G_i{\omega }_j+\frac{1}{2}(H_i+\lambda ){\omega }_j^2]+\gamma T$

假設樹的結構是固定的，即函數q(x)$q(x)$ 確定，令函數Obj(t)$Ob{j}^{(t)}$ 的一階導數等於0，即可求得葉子節點j對應的值爲：

ω∗j=−GjHj+λ(7)${\omega }_j^{\ast }=-\frac{G_j}{H_j+\lambda }(7)$

此時，目標函數的值爲：

Obj=−12∑Tj=1G2jHj+λ+γT(8)$Obj=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T(8)$

綜上，爲了便於理解，單顆決策樹的學習過程可以大致描述爲：

1)枚舉所有可能的樹結構q$q$ 。
2)用等式(8)爲每個q$q$ 計算其對應的分數Obj$Obj$ ，分數越小說明對應的樹結構越好。
3)根據上一步的結果，找到最佳的樹結構，用等式(7)爲樹的每個葉子節點計算預測值。

然而，可能的樹結構數量是無窮的，所以實際上我們不可能枚舉所有可能的樹結構。通常情況下，我們採用貪心策略來生成決策樹的每個節點。

1)從深度爲0的樹開始，對每個葉節點枚舉所有的可用特徵。
2)針對每個特徵，把屬於該節點的訓練樣本根據該特徵值升序排列，通過線性掃描的方式來決定該特徵的最佳分裂點，並記錄該特徵的最大收益（採用最佳分裂點時的收益）。
3)選擇收益最大的特徵作爲分裂特徵，用該特徵的最佳分裂點作爲分裂位置，把該節點生長出左右兩個新的葉節點，併爲每個新節點關聯對應的樣本集。
4)回到第1步，遞歸執行到滿足特定條件爲止。

如何計算每次分裂的收益呢？假設當前節點記爲C$C$ ，分裂之後左孩子節點記爲L$L$ ，右孩子節點記爲R$R$ ，則該分裂獲得的收益定義爲當前節點的目標函數值減去左右兩個孩子節點的目標函數值之和：Gain=ObjC−ObjL−ObjR$Gain=Ob{j}_C-Ob{j}_L-Ob{j}_R$ ，具體地，根據等式(8)可得：

Gain=12[G2LHL+λ+G2RHR+λ−(GL+GR)2HL+HR+λ]−γ$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{{(G_L+G_R)}^2}{H_L+H_R+\lambda }]-\gamma$

其中，−γ$\gamma$ 項表示因爲增加了樹的複雜性（該分裂增加了一個葉子節點）帶來的懲罰。

---

總結一下GBDT算法

1)算法每次迭代生成一顆新的決策樹

2)在每次迭代開始之前，計算損失函數在每個訓練樣本點的一階導數gi$g_i$ 和二階導數hi$h_i$

3)通過貪心策略生成新的決策樹，通過等式(7)計算每個葉節點對應的預測值

4)把新生成的決策樹ft(x)$f_t(x)$ 添加到模型中：yti=yt−1i+ft(xi)$y_i^t=y_i^{t-1}+f_t(x_i)$

通常在第四步，我們把模型更新公式替換爲：yti=yt−1i+ϵft(xi)$y_i^t=y_i^{t-1}+ϵf_t(x_i)$ ，其中ϵ$ϵ$ 稱之爲步長或者學習率。增加ϵ$ϵ$ 因子的目的是爲了避免模型過擬合。

---

機器學習算法的目的

GBDT算法是一種監督學習算法。監督學習算法需要解決如下兩個問題：

Obj(Θ)=L(Θ)+Ω(Θ)$Obj(\mathrm{\Theta })=L(\mathrm{\Theta })+\mathrm{\Omega }(\mathrm{\Theta })$

L(Θ)$L(\mathrm{\Theta })$ ：是損失函數，損失函數儘可能的小，這樣使得目標函數能夠儘可能的符合樣本。
Ω(Θ)$\mathrm{\Omega }(\mathrm{\Theta })$ ：是正則化函數， 正則化函數對訓練結果進行懲罰，避免過擬合，這樣在預測的時候才能夠更準確。

目標函數之所以定義爲損失函數和正則項兩部分，是爲了儘可能平衡模型的偏差和方差(Bias Variance Trade-off)。
機器學習算法需要最終學習到損失函數儘可能小並且有效的防止過擬合。
以樣本隨時間變化對某件事情發生的變化爲例，如下幾副圖形象的說明了機器學習的作用。
假設隨着時間的變化對K話題存在如下樣本：

如果沒有有效的正則化，則學習結果會如下圖所示：

這種情況下，學習結果跟樣本非常符合，損失函數也非常小，但是這種樣本在預測的時候，由於過擬合，失敗率會很高。
如果損失函數太大，則學習結果如下圖所示：

這種情況，學習結果跟樣本差別太大，損失函數也很大，在預測的時候由於誤差跳大，失敗率也會很高。
損失函數和正則化防止過擬合平衡後的學習結果如下圖所示：

在這種情況下損失函數和正則化函數防止過擬合達到了一個平衡，預測會比較準。

---

參考了一篇非常不錯的文章：https://www.cnblogs.com/yangxudong/p/6220485.html