梯度提升树，GBDT

博客出于待整理状态  

GBDT的原理在参考文献的第一篇博客中，我就不再详述它的原理了。

图1-3主要是参考文献第二篇文章中的。为了学习了解相关概念。

图1

 

图2

图3

图4

图5

 

 

 

• 优点，

 

• 缺点

• 与XGboost的不同。（实际上GBDT泛指所有梯度提升树算法，包括XGBoost，它也是GBDT的 一种变种，这里为了区分它们，GBDT特指“Greedy Function Approximation：A Gradient Boosting Machine”里提出的算法，它只用了 一阶导数信息。）
  1. GBDT在函数空间中利用梯度下降法进行优化，XGBoost在函数空间中牛顿法进行优化。

 

• 决策树的不同 。

参考文献： 

1. 机器学习算法系列（7）：GBDT  （已学习）
2. Competitive GBDT Specification and Optimization Workshop
3. 通俗理解kaggle比赛大杀器xgboost
4. GBDT算法原理与系统设计简介
5. 梯度提升原始论文：Jerome H. Friedman. Greedy Function Approximation: A Gradient Boosting Machine:
6. 为什么xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度？ （已学习）
7. 《统计学习方法》P146-153。（已学习）