1、损失函数中加入了正则化项,相当于预剪枝
2、shrinkage
即在迭代中为树的叶子结点乘以一个权重衰减稀疏,以削弱每棵树的影响力,为后面的树留下提升空间3
3、列采样,即特征采样。
有按层采样和建树之前随机采样两种方式。
其中按层采样是在同一层的结点进行分裂之前随机选择部分特征,对这些部分特征进行遍历,寻找最优切分点,而不用遍历全部特征。
建树之前随机选择特征是在建树之前就选择部分特征,在之后的结点的分裂中,只使用这部分特征
4、行采样,也可以理解成样本采样。
利用的是bagging思想,训练时选取部分样本进行训练,增加了树的多样性。
xgboost中用来防止过拟合的措施
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
重磅!Zilliz 与智源研究院联合推出自动化多样性信息检索评测基准 AIR-Bench
Zilliz
2024-05-31 21:25:07
Opal 机器学习平台:爱奇艺数智一体化实践
01 綜述 Opal 是愛奇藝大數據團隊研發的機器學習平臺,包含特徵生產、樣本構建、模型訓練、模型部署在內的多環節 Bigdata + AI 開發服務,內置多種訓練鏡像、
愛奇藝技術產品團隊
2024-06-01 02:21:16
基于对比稀疏扰动技术的时间序列解释框架 ContraLSP
原創
2024-06-01 00:25:50
儿童节变身小小音乐家*用ModelArts制作一张AIGC音乐专辑
原創
2024-05-31 11:04:39
金融反欺诈指南:车险欺诈为何如此猖獗?
原創
2024-05-30 00:16:51
还能报名!风靡硅谷开发者的 Unstructured Data Meetup 即将登陆中国!
原創
2024-05-29 02:18:59
AI安全志:英国AI骗保事件增加300%!
原創
2024-05-28 00:15:50
文心大模型免费辣,动手搓点啥庆祝一下吧
原創
2024-05-24 12:13:22
风控指南:国内车险欺诈呈现四大趋势
原創
2024-05-23 12:16:45
五款扩展组件齐发 —— Volcano、Keda、Crane-scheduler 等,邀你体验
原創
2024-05-23 11:17:40
基于 Milvus + LlamaIndex 实现高级 RAG
原創
2024-05-22 21:25:18
站在岸上学不会游泳 | 算法校招生的高效成长总结
原創
2024-05-22 11:56:42
全球厂商之最,华为17篇论文入选国际数据库顶会ICDE
原創
2024-05-22 10:58:13
Gen AI 连接非结构化数据,Unstructured Data Meetup 第二场官宣杭州!
原創
2024-05-20 21:25:07