梯度提升樹，GBDT

博客出於待整理狀態  

GBDT的原理在參考文獻的第一篇博客中，我就不再詳述它的原理了。

圖1-3主要是參考文獻第二篇文章中的。爲了學習瞭解相關概念。

圖1

 

圖2

圖3

圖4

圖5

 

 

 

• 優點，

 

• 缺點

• 與XGboost的不同。（實際上GBDT泛指所有梯度提升樹算法，包括XGBoost，它也是GBDT的 一種變種，這裏爲了區分它們，GBDT特指“Greedy Function Approximation：A Gradient Boosting Machine”裏提出的算法，它只用了 一階導數信息。）
  1. GBDT在函數空間中利用梯度下降法進行優化，XGBoost在函數空間中牛頓法進行優化。

 

• 決策樹的不同 。

參考文獻： 

1. 機器學習算法系列（7）：GBDT  （已學習）
2. Competitive GBDT Specification and Optimization Workshop
3. 通俗理解kaggle比賽大殺器xgboost
4. GBDT算法原理與系統設計簡介
5. 梯度提升原始論文：Jerome H. Friedman. Greedy Function Approximation: A Gradient Boosting Machine:
6. 爲什麼xgboost/gbdt在調參時爲什麼樹的深度很少就能達到很高的精度？ （已學習）
7. 《統計學習方法》P146-153。（已學習）