學習筆記,僅供參考,有錯必糾
迴歸樹與基於規則的模型
簡單迴歸樹
簡單迴歸樹將數據劃分爲若干組,其中組內的樣本點在結果變量取值上具有一定的同質性。爲了實現這種同質性劃分,迴歸樹需要決定:
- 用於切分的預測變量及對應的切分點
- 樹的深度或複雜度
- 最終節點上的預測方程
在這裏,我們首先關注最終節點爲常數的模型。
構建迴歸樹有許多不同的方法,其中,最常用的就是the classification and regression tree (CART) methodology of Breiman.
對於迴歸問題,模型首先從完整的數據集S開始,搜索每一個預測變量的每一個不同的取值,以此將數據劃分爲兩組(S1,S2S_1,S_2