1.SVM
首先，SVM有個L2正則項，在目標函數中加入這個對模型的規模進行了限制。L2正則爲什麼能保證控制過擬合，這裏面就有個哲學思想，叫做奧卡姆剃刀法則，簡單來說這個想法就是“能簡單說的話，不要複雜的說”。L2正則項就能代表模型的複雜度，根據奧卡姆，如果同樣效果那麼越簡單的模型泛化效果越好。所以最優化過程中儘量追求小的L2的值就會提高泛化能力，也就抑制了過擬合的問題。其次，會通過鬆弛變量的方法處理掉噪音。
2.adaboost
一是弱分類器非常簡單，即使很多融合也不易過擬合，但如果弱分類器太強，則易過擬合；二是分類錯誤率上界隨着訓練增加而穩定下降
3.隨機森林
兩個隨機過程（訓練集和特徵）的引入；以及根據大數定律，隨着分類樹數目的增多，泛華誤差值會收斂，所以使得隨機森林不易過擬合。