xgboost objective和eval_metric的区别

之前对于xgboost中的两个参数objective和eval_metric一直分不清楚,不知道它们各自的作用。后来通过查找资料理清了他们之间的关系。这里记录一下。

1、objective

objective参数代表的是模型的损失函数,也就是我们进行优化的目标。

这里要注意损失函数与目标函数的区别,一般情况下,我们说的损失函数就是目标函数,但是一些模型如xgboost要求目标函数要有一阶导数和二阶导数才能进行优化,而很多目标函数是没有一阶导数或二阶导数的,所以这时就用具有相似结果的损失函数来代替(如果损失函数能够很好地替代目标函数,这是最好的情况,如果替代效果不佳,则影响模型优化)。在模型优化中,我们使用的都是损失函数。
objective是训练模型必备的函数,只有定义了objective模型才能进行训练

2、eval_metric函数
eval_metric是评价函数,对模型的训练没有影响,而是在模型训练完成之后评估模型效果。如我们经常使用logloss作为objective,经常与之搭配的评价函数是auc、acc等。

为什么评价的时候不用objective呢?本来就是用objective来优化的,自己评价自己就没多大意义了,所以一般需要来自另一个评分机制的eval_metric来评估模型效果。

eval_metric对于训练模型没有影响,即使我们不定义这个函数模型也可以正常训练。

参考文献:
xgboost中Objective和feval之间的差异
XGBoost自定义评价函数(feval)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章