前言：XGBoost原理上跟普通GBDT一样，都属于集成算法中的boost类。boost的原理可以看我的另外两篇介绍集成学习的文章，这里不多赘述。所以这篇文章主要在XGB与普通GBDT不同之处进行讨论。
1.损失函数
XGB的损失函数是支持自定义的，只要满足二阶可导即可。
XGB的损失函数除了拟合上一轮残差部分，还自带了两个损失项以减少树模型复杂度：
先讨论简单的，正则化部分：
系数：这里的γ和λ，你可以设定它们的值，显然，γ越大，表示越希望获得结构简单的树，因为此时对较多叶子节点的树的惩罚越大。λ越大也是越希望获得结构简单的树。
惩罚内容：
再看头疼一点的，误差函数项，
为了好理解，先以平方误差（MSE）为例，
这个函数，是不是熟悉多了？因为
其中：
忽略损失函数
的偏导计算），做下一一对应：
● 泰勒二阶展开f 里的x对应目标函数里的
● f 里的
对应目标函数的
● 从而f 对x求导数时，对应为目标函数对
求偏导
这里有必要再明确一下，
这时，目标函数只依赖于每个数据点在误差函数上的一阶导数
记住这个式子，再看其中的
下面是决策树的另一种表达方式：
式中：
直接把，从样本遍历转化为从叶子结点遍历了有没有？这个公式还是有点难懂，那么如果我们再变换一下呢？
这个公式，问你怎么求
这个
2.寻找最优的结构
以判断一个人是否喜欢计算机游戏为例子。最简单的树结构就是一个节点的树。我们可以算出这棵单节点的树的好坏程度obj*。假设我们现在想按照年龄将这棵单节点树进行分叉，我们需要知道：
1、按照年龄分是否有效，也就是是否减少了obj的值
2、如果可分，那么以哪个年龄值来分。
为了回答上面两个问题，我们可以将这一家五口人按照年龄做个排序。如下图所示：
从左向右遍历每个年龄，可以得到两个区域，然后计算
这个就类似于信息增益，增益越大，那么
3.特点
Xgboost可以有效地防止过拟合并且各种支持分布式/并行，所以一般传言这种大杀器效果好（集成学习的高配）+训练效率高（分布式），与深度学习相比，对样本量和特征数据类型要求没那么苛刻，适用范围广。而且具有深度学习没有的一些特性比如模型的可解释性、输入数据的不变性、更易于调参等。
4.应用场景
XGBoost以其较高的准确率，又可以局部分布式训练，可以说能用GBDT的都可以用XGBoost来试试，训练得比较快，时间省下来多调调参也是好的。
5.调参实践
https://github.com/zzzzzzhang/Datawhale_learn/blob/master/XGBoost_cloud.py
参考
【1】http://www.julyedu.com/question/big/kp_id/23/ques_id/2590
【2】https://blog.csdn.net/github_38414650/article/details/76061893
【3】https://blog.csdn.net/qq_34562093/article/details/78880975