（LXTML筆記）Gradient Boosted Decision Tree

AdaBoost-DTree

根據AdaBoost的思想，

我們希望在生成多個分類器gt$g_t$ 的時候，增加一個類似於adaboost的權重ut$u_t$ ，即gt=A(D,ut)$g_t=A(D,u^t)$ ，在最後組成最終分類器G$G$ 的時候，增加權重at=at(ut)$a_t=a_t(u^t)$ ，這是整體的思路。

那麼現在的問題是如何嵌入一個ut$u^t$，使得gt=DTree(D,ut)$g_t=DTree(D,u^t)$ ，注意到之前的Random-Forest等算法中的gt$g_t$ 僅僅是DTree(D)$DTree(D)$ .

如上圖所示，本來加入ut$u^t$ 應該是在Ein$E_{in}$ 中進行的，但是這不一定能很好地解出，所以這裏講其看成一個black box。注意到ut$u^t$ 在adaboost是怎麼引進來的，他是由boost抽樣引進的，所以，我們採用紅框所示的抽樣方法。即對每一組數據(xn,yn)$(x_n,y_n)$ 按un$u_n$ 的比例概率來抽取，這樣的話可以近似地處理Ein$E_{in}$ 且不用改最優化的框架（僅僅是“改”了數據）。

權重at$a_t$ 仍採用和adaboost一樣的操作。

adaboost-DT用於二分類問題

如上更新，注意到由於是二分類問題yn$y_n$ 是±1，那麼ut$u^t$ 可以有很好地表達式，這個結果和我們要回傳的G$G$ 長得十分類似。

如上圖所示，用一種粗糙的解釋，實際上上上圖中橙色框的部分表示的是一種類似於SVM中的margin，我們希望margin越大越好，即如上圖灰色框所示，我們最終希望ut+1$u^{t+1}$ 越下越好，那麼我們可以再弱一些，我們希望能deresases∑Nn=1u(t)n$\sum _{n=1}^N{u}_n^{(t)}$ .

採用的是GD，對exp在原點附近泰勒展開後得知我們需要使得∑Nn=1u(t)n(−ynh(xn))$\sum _{n=1}^N{u}_n^{(t)}(-y_{n}h(x_n))$ 最小化，其中h(xn)$h(x_n)$ 是變量，進一步化簡，

這裏的推導說明，實際上最小化EADA$E_{ADA}$ 相當於最小化Eu(t)in$E_{in}^{u^{(t)}}$ ，所以推來推去，我們發現了最好的gt$g_t$ 實際上就是可以通過adaboost來解決的，即gt+1$g_{t+1}$ 由ut$u^t$ 和gt$g_t$ 來獲得，忘記的同學可以回到adaboost去查看。

得到最優的gt$g_t$ 之後，接下來，我們要處理最優的步長，由上面的推導，我們能得出最優的步長就是ln1−ϵtϵt−−−−√$ln\sqrt{\frac{1-{ϵ}_t}{{ϵ}_t}}$ ！實在是震精！

Gradient Boosting for Regression

推廣上面adaboost-DT的loss項，可以推廣到一般形式，下面將考慮regression問題，即考慮squared-error。

按照上面的推導的話遇到了一個問題，如果要min只要直接取h(xn)=+∞$h(x_n)=+\mathrm{\infty }$ 就好了，不過實際上h(xn)$h(x_n)$ 僅僅是代表一個方向而已（想一想GD），長度應該是由步長控制的，所以，我們嘗試對h(xn)$h(x_n)$ 做點限制，增加一個(h(xn)2)$(h(x_n{)}^2)$ 項

通過配方，我們發現了一個驚人的事實，如果假設h$h$ 是線性的話，那麼直接對{(xn,yn−sn)}$\{(x_n,y_n-s_n)\}$ 做LR即可以得到一個最優解！

得到最優h$h$ 之後，考慮步長，稍微做點代數邊形，我們發現一個事實，最優的步長也是可以通過線性迴歸獲得，而且是一元！

對算法重新總結一下即