xgboost中用來防止過擬合的措施

1、損失函數中加入了正則化項，相當於預剪枝
2、shrinkage
即在迭代中爲樹的葉子結點乘以一個權重衰減稀疏，以削弱每棵樹的影響力，爲後面的樹留下提升空間3
3、列採樣，即特徵採樣。
有按層採樣和建樹之前隨機採樣兩種方式。
其中按層採樣是在同一層的結點進行分裂之前隨機選擇部分特徵，對這些部分特徵進行遍歷，尋找最優切分點，而不用遍歷全部特徵。
建樹之前隨機選擇特徵是在建樹之前就選擇部分特徵，在之後的結點的分裂中，只使用這部分特徵
4、行採樣，也可以理解成樣本採樣。
利用的是bagging思想，訓練時選取部分樣本進行訓練，增加了樹的多樣性。