前言：XGBoost原理上跟普通GBDT一樣，都屬於集成算法中的boost類。boost的原理可以看我的另外兩篇介紹集成學習的文章，這裏不多贅述。所以這篇文章主要在XGB與普通GBDT不同之處進行討論。
1.損失函數
XGB的損失函數是支持自定義的，只要滿足二階可導即可。
XGB的損失函數除了擬合上一輪殘差部分，還自帶了兩個損失項以減少樹模型複雜度：
先討論簡單的，正則化部分：
係數：這裏的γ和λ，你可以設定它們的值，顯然，γ越大，表示越希望獲得結構簡單的樹，因爲此時對較多葉子節點的樹的懲罰越大。λ越大也是越希望獲得結構簡單的樹。
懲罰內容：
再看頭疼一點的，誤差函數項，
爲了好理解，先以平方誤差（MSE）爲例，
這個函數，是不是熟悉多了？因爲
其中：
忽略損失函數
的偏導計算），做下一一對應：
● 泰勒二階展開f 裏的x對應目標函數裏的
● f 裏的
對應目標函數的
● 從而f 對x求導數時，對應爲目標函數對
求偏導
這裏有必要再明確一下，
這時，目標函數只依賴於每個數據點在誤差函數上的一階導數
記住這個式子，再看其中的
下面是決策樹的另一種表達方式：
式中：
直接把，從樣本遍歷轉化爲從葉子結點遍歷了有沒有？這個公式還是有點難懂，那麼如果我們再變換一下呢？
這個公式，問你怎麼求
這個
2.尋找最優的結構
以判斷一個人是否喜歡計算機遊戲爲例子。最簡單的樹結構就是一個節點的樹。我們可以算出這棵單節點的樹的好壞程度obj*。假設我們現在想按照年齡將這棵單節點樹進行分叉，我們需要知道：
1、按照年齡分是否有效，也就是是否減少了obj的值
2、如果可分，那麼以哪個年齡值來分。
爲了回答上面兩個問題，我們可以將這一家五口人按照年齡做個排序。如下圖所示：
從左向右遍歷每個年齡，可以得到兩個區域，然後計算
這個就類似於信息增益，增益越大，那麼
3.特點
Xgboost可以有效地防止過擬合併且各種支持分佈式/並行，所以一般傳言這種大殺器效果好（集成學習的高配）+訓練效率高（分佈式），與深度學習相比，對樣本量和特徵數據類型要求沒那麼苛刻，適用範圍廣。而且具有深度學習沒有的一些特性比如模型的可解釋性、輸入數據的不變性、更易於調參等。
4.應用場景
XGBoost以其較高的準確率，又可以局部分佈式訓練，可以說能用GBDT的都可以用XGBoost來試試，訓練得比較快，時間省下來多調調參也是好的。
5.調參實踐
https://github.com/zzzzzzhang/Datawhale_learn/blob/master/XGBoost_cloud.py
參考
【1】http://www.julyedu.com/question/big/kp_id/23/ques_id/2590
【2】https://blog.csdn.net/github_38414650/article/details/76061893
【3】https://blog.csdn.net/qq_34562093/article/details/78880975