佔坑先，想起來了會填的~
前言：關於xgboost，其作者有個介紹性的ppt，寫的很好！就算不是爲了看xgboost，也可以看看前面部分，作者對監督學習的解釋講得很好！~ xgboost原理介紹 防網頁掛掉專用下載鏈接xgboost原理
xgboost屬於boosting算法，xgboost模型是ensemble trees(這個對於GBDT、Random Forests等都是)，損失函數是MSE平方損失函數，策略是結構風險化最小(前面在xgboost調參裏面也將到了xgboost是屬於有正則化項的)，算法是前向分步算法。
xgboost一個很神奇的點在於用的是MSE，所以擬合的是上一次擬合的殘差(有一個現象是xgboost通常用很少的樹深度就能達到好的精度，而random forests則不然，因爲random forests是隨機建樹，樹之間沒有依賴關係，這種可以完全並行化的集成方法一般都會有降低variance，而非提高bias的感覺。)
先這麼多，之後再補充吧