【機器學習】:決策樹之CART迴歸樹

在決策樹算法當中,cart迴歸樹是決策樹的一種,它用來做迴歸的策略十分常見。可能還會在後續的GBDT模型當中所運用到,用來作爲我們分裂節點的一個標準,我們來了解了解。

 

 

 

 

 

 

 

 

 

 備註:

在進行計算迴歸樹的c1和c2的值的時候,我們使用的方法,是對c1所在的區域做一個平均值,然後對c2的所在的區域算出一個平均值。c1和c2的交界處就是我們進行split的一個特徵。比如x>2.5. 而分裂策略是通過平均誤差來進行計算的,得到最小的均方誤差,就可以使用具備最小loss的這個點來作爲我們cart迴歸樹的分裂點。在gbdt當中,每一輪都適用cart迴歸樹來對分裂點進行計算。同時通過最小化殘差來作爲我們的判別標準。最後把所有樹的結果加起來(不帶權重,adaboost有帶權重),就得到了最後我們的集成模型。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章