大牛博客推薦：
wepon
原始論文 ： XGBoost: A Scalable Tree Boosting System
xgboost的slide
中文原理說明
xgboost的原理篇看了很多，總結大牛博客和自己筆記基礎上也寫到博客上吧。
1、cart分類迴歸樹
2、迴歸樹集成
3、如何學習目標函數
3.1 addaptive tarning:
3.2 二階泰勒展開式：
這裏泰勒展開式中的f(x)就是損失函數。後面是當損失函數是平方損失函數時，與之前一致。
3.3 新的目標函數
這裏
3.4 重新定義樹
q(x)表示樣本x在某個葉子節點上，wq(x)是該節點的打分,即該樣本的模型預測值。
3.5 樹的複雜度
3.6
3.7
3.8
參考文獻：
1、http://blog.csdn.net/china1000/article/details/51106856
2、http://wepon.me/files/gbdt.pdf
3、http://blog.csdn.net/sb19931201/article/details/52557382