要點
擁有一些不同的準確率相似的模型讓你能夠做一些獨立使用這些模型之外的提升性能的方法（合作法，議會，機器學習內的民主）。
在堆疊或混合方法中，這些系統由在獨立模型輸出上添加一層組合而來。
創造多樣性有不同 的方法策略。在bagging（bootstrap aggregation）中，對同一個樣本集做有替換的採樣。在boosting中，與添加模型相關，一系列的模型被訓練，因此，現在系統中最難的樣本能夠爲新添加的組件而擁有更大的權值。用不同的特徵子集或者不同的隨機數生成器是創造多樣性的另外方法。Error-correcting output codes爲多位輸出比特提供冗餘的模型編碼以增加應對獨立錯誤的魯棒性。
Additive logistic regression 是通過增加模型和類牛頓優化來解釋boosting 的優雅方法。優化加速了我們知識的增長。
機器學習中的合作法與爵士音樂類似：整體大於部分的和。音樂家和模型都協同工作，互相依靠，勝過自己單獨的創造。