機器學習--XGBoost

1、模型思想

XGBoost是GBDT改良版，都是通過多個弱學習器，不斷地減少殘差。GBDT主要是對殘差求一階導，向負梯度的方向擬合殘差，而XGBoost運用了泰勒展開，考慮到了二階導數。

2、公式推導

每次的迭代都是前面的弱學習器組合上新的學習器，表示爲：

ŷ (t)i=ŷ (t−1)i+ft(xi)$${\hat{y}}_i^{(t)}={\hat{y}}_i^{(t-1)}+f_t(x_i)$$

目標函數可以表示爲：

loss=∑i=1nl(yi,ŷ (t−1)i+ft(xi))+Ω$$loss=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\mathrm{\Omega }$$

其中Ω$\mathrm{\Omega }$ 是正則項，爲了防止過擬合，對樹的數量和葉子結點的指加入了懲罰項：

Ω=γT+12λ∑j=1Tw2j$$\mathrm{\Omega }=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

將l(yi,ŷ (t−1)i)$l(y_i,{\hat{y}}_i^{(t-1)})$ 看作是x$x$ ，ft(xi)$f_t(x_i)$ 看作是Δx$\mathrm{\Delta }x$ ，對損失函數進行泰勒展開：

loss≈∑i=1N[l(yi,ŷ (t−1)i)+gift(xi)+12hif2t(xi)]+Ω$$loss\approx \sum _{i=1}^N[l(y_i,{\hat{y}}_i^{(t-1)})+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\mathrm{\Omega }$$

其中gi$g_i$ 和hi$h_i$ 分別是一階導和二階導，這個導數取決於選擇什麼損失函數，例如MAE，MSE。
l(yi,ŷ (t−1)i)$l(y_i,{\hat{y}}_i^{(t-1)})$ 這一項，是由前面的弱學習器組成，不會發生改變，可以看成常數項，然後損失函數可以變成：

loss≈∑i=1N（gift(xi)+12hif2t(xi))+γT+12λ∑j=1Tw2j$$loss\approx \sum _{i=1}^N（g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i))+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

1到N是遍歷樣本，比較繁瑣，把遍歷樣本轉化爲遍歷葉子節點，損失函數變成：

loss≈∑i=1T[Giwi+12(Hi+λ)w2i]+γT$$loss\approx \sum _{i=1}^T[G_i{w}_i+\frac{1}{2}(H_i+\lambda )w_i^2]+\gamma T$$

其中Gi$G_i$ 和Hi$H_i$ 分別是這個葉子節點上所有數據的loss的一階導數和二階導數的和。
然後目標函數對wi$w_i$ 求偏導數，讓偏導數爲0可以解除每個樹葉節點的值wi$w_i$ ：

∂loss∂wi=−12∑i=1TG2jHj+λ+γT=0$$\frac{\mathrm{\partial }loss}{\mathrm{\partial }{w}_i}=-\frac{1}{2}\sum _{i=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T=0$$

解得：

wi=−GjHj+λ$$w_i=-\frac{G_j}{H_j+\lambda }$$

迴帶得到損失函數是：

loss=−12∑i=1TG2iH2i+λ+γT$$loss=-\frac{1}{2}\sum _{i=1}^T\frac{G_i^2}{H_i^2+\lambda }+\gamma T$$

與AdaBoost不同的是，AdaBoost基分類器用的是CART決策樹，分隔的標準是gini係數，XGBoost則是用這個推出來的損失函數進行分隔。
讓這個損失函數下降越多越好，也就是G2H+λ$\frac{G^2}{H+\lambda }$ 越大越好，所以XGBoost的信息增益是：

Gain=12[G2LHL+λ+G2RHR+λ−(GL+GR)2HL+HR+λ]−γ$$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$

因爲每次分隔會多出一個樹，所以要減去γ$\gamma$ 。