作者：Jason Brownlee 翻譯：wwl 校對：王琦
本文約3300字，建議閱讀8分鐘。
本文介紹了我們在生活中的許多決定包括了其他人的意見，由於羣體的智慧，有的時候羣體的決策優於個體。在機器學習領域也存在集成學習，整合多個模型的結果，降低預測結果的方差。
生活中我們做的許多決定都是基於其他人的意見。這包括，通過書評來決定閱讀哪一本書；根據多位醫生的建議決定選擇哪個治療方案；以及定罪。
一般地，一羣人共同決策的結果比團隊中每個個體單獨做決策帶來的結果更優。這通常被視爲是羣體的智慧。
對於迴歸和分類的預測建模問題，通過把多個機器學習的預測模型組合起來，也可以達到類似的結果。這通常叫做集成機器學習，簡稱集成學習。
通過本文，你可以掌握有關集成學習的入門介紹。你將瞭解到：
我們做的許多決定都包含了其他人的意見或投票。
羣體決策效果比個人更好，這被稱爲羣體的智慧。
集成機器學習把多個成熟的模型預測結果組合起來。
我們開始吧！
總覽
本教程包含三部分：
1、 做重要決策
2、 羣體的智慧
3、 集成機器學習
做重要決策
想一想生活中，你做的重要的決策。比如說：
買什麼書和接下來閱讀什麼書？
參加哪所大學？
候選的書都聽起來很有趣，但我們實際購買的可能是有最多好評的那一本。候選的大學都可以提供我們感興趣的課程，但最終的選擇會基於有一手消息的朋友和熟人的反饋。
我們可能會相信有關這些書籍的評論和星級評級，因爲每個人都提供了一個評論，用戶跟這個書沒有關係（希望如此），且獨立於其他人留下的評論。如果不是這樣的話，對結果的信任就會受到質疑，對系統的信任也會動搖，這就是爲什麼亞馬遜努力刪除圖書的虛假評論。
另外，想一下更私人的一些重要決定。比如說有關疾病的治療。我們聽取一個專家的建議，但我們還會尋覓第二個、第三個，甚至更多意見，以確保可以得到最好的治療方案。
來自第二個、第三個專家的意見可能和第一個的意見相同也可能相悖，但因爲他們的意見都是冷靜、客觀、獨立的，因此會給予重視。但如果專家之間串通了意見，那麼尋找第二個、第三個專家意見的過程就沒有意義了。
“當面臨重要決策時，我們通常會尋求不同專家的意見來幫助我們做出決策。”
— Page 2, Ensemble Machine Learning, 2012.
https://amzn.to/2C7syo5
最後，想一想有關社會決策。比如說，誰應該在政府中代表一個地區；某人是否有罪。
代表的民主選舉（以某種形式）依賴於民衆的獨立投票。
“基於多人/多位專家的輸入做出決策，已經成爲人類文明中的普遍實踐，是民主社會的基礎。”
— Page v, Ensemble Methods, 2012.
https://amzn.to/2XZzrjG
嚴重犯罪的定罪可以由獨立的同行組成的陪審團來確定，陪審團通常被隔離以加強其解釋的獨立性。案件也可以在多層次上上訴，根據結果提供第二、第三和更多意見。
“大多數國家的司法體系，無論是基於陪審團還是法官團，都是以集體決策爲基礎。”
— Pages 1-2, Ensemble Machine Learning, 2012.
以上都是通過結合較低級別的意見、投票或決策而獲得結果的例子。
“集成決策並不是新鮮事了，在日常中，這樣的體系使用得很頻繁，以至於這對於我們來說可能是第二天性。”
— Page 1, Ensemble Machine Learning, 2012.
在每種情況下，爲了結果的有效性，這些低水平的決策需要具備一些特性，比如它們的獨立性以及每個決策的一定的有效性。
這種決策方法應用很普遍，它有一個名字。
羣體的智慧
這種基於羣體的低水平決策來進行最終決策的方法通常被稱爲“羣體的智慧”。
它是這樣的情況，即相對於羣體中單個個體的決定，集合了羣體中所有人的意見的結果通常更爲準確、有效、以及正確。
100多年前的一個著名的例子就是在英國普利茅斯的一個集市上舉行的一次估計公牛體重的比賽，每個人都做出了自己的猜測，猜測最接近實際體重的人贏得了肉。統計學家Francis Galton後來收集了所有猜測的數據並計算了平均值。
“他把所有參賽者的估測進行了加和並計算了平均數。”你可以說，這個數字代表了普利茅斯民衆的集體智慧。如果人羣是一個人的話，它就能猜出這頭牛的重量。“
— Page xiii, The Wisdom of Crowds, 2004.
https://amzn.to/2UNOMll
他發現所有參賽者的猜測的平均值非常接近於真實的重量。也就是說，統計800位參賽者估算重量的平均值是一種猜測公牛真實重量的準確方法。
“羣衆猜測，這頭牛在被屠宰和剝皮後，重1197磅。這頭牛被宰殺和剝皮後，重1198磅。換句話說，羣衆的判斷基本上是完美的。“
— Page xiii, The Wisdom of Crowds, 2004.
這個例子是James Surowiecki’s 2004年出版的名叫 “The Wisdom of Crowds” 的書開頭給出的，這本書探討了人類羣體做出的決策和預測往往羣體成員更好。
“這種智慧，或者我稱之爲“羣體智慧”，在世界上以許多不同的形式在發揮作用。“
— Page xiv, The Wisdom of Crowds, 2004.
這本書促使人們在做重要決策時，借鑑來自羣體的猜測、投票和意見，而不是僅僅向一個專家尋求諮詢。
“我們感到有必要去追逐專家“，但這本書認爲追逐專家是一個錯誤，並且代價高昂。我們應當停止追逐，轉而問問大衆（當然，既包括天才也包括普通人）。
— Page xv, The Wisdom of Crowds, 2004.
Lior Rokach’s 2010年出版的名爲 “Pattern Classification Using Ensemble Methods” 的書的第 22頁完美地總結了基於羣體做出決策的系統的一些特性：
意見多樣性：每個人都應該擁有私人的信息，即便是它只是對已知事實的一種古怪的解釋。
獨立性：每個人的意見並不受其他人的影響。
去中心化：每個人可以根據自身的知識進行專門研究來得出結論。
集成化：存在一些機制可以把個體的判斷轉變爲羣體決策。
作爲一個決策系統，這種方法並不總是最有效的（例如股市泡沫、時尚等），但在一些結果導向的不同領域中可能是有效的。
我們可以在應用機器學習中使用這種方法來進行決策。
集成機器學習
應用機器學習通常包括基於數據集的模型擬合和模型效果評估。
由於我們無法提前預料到哪個模型在這個數據集上表現最好，因此在得到最優模型前，我們可能會進行許多的試錯。
這類似通過追逐單一專家的決策方式。也許是我們可以找到的最好的專家。
另一種互補的方法是準備多個不同的模型，並把它們的預測結果整合起來。這被稱爲集成機器學習或者簡單來講是集成，這種尋找表現好的集成模型的過程稱作集成學習。
“集成方法學模仿我們的第二天性，在做出關鍵決策之前先徵求幾個意見。”
— Page vii, Pattern Classification Using Ensemble Methods, 2010.
https://amzn.to/2zxc0F7
這和尋求多位專家意見是相似的。
最常見的集成類型是訓練同一機器學習模型的多個版本，以確保每個集成成員都是不同的（例如決策樹模型在訓練集的不同子集上訓練），然後使用平均值或投票法組合預測。
一種不太常見但同樣有效的方法是在相同的數據上訓練不同的算法（例如決策樹、支持向量機和神經網絡），並組合它們的預測。
就像在人羣中綜合個體的觀點一樣，集成的有效性依賴於每個模型都具有某種特性（比隨機性更好），並且與其他模型具有一定的獨立性。後一點通常被解釋爲集成中的成員模型都在不同的地方有不同於其他模型的優勢。
希望集成後可以得到比任何一個有貢獻的模型更好的模型。
“核心原則是給予單獨的分類器一定權重，然後把它們組合起來以得到一個比任何單獨的分類器更好的分類器”
— Page vii, Pattern Classification Using Ensemble Methods, 2010.
至少，集成的模型限制了最壞的情形出現，通過降低預測的波動。通常隨着訓練集的不同，模型的表現會發生變化，從而使得單一的模型的表現時好時壞。
“集成系統的目標是通過創建幾個具有相對固定的或相似的偏差的分類器，然後結合它們的輸出，比如對輸出進行平均以減小方差。”
— Page 2, Ensemble Machine Learning, 2012.
集成可以減小方差，並且確保做出的預測更接近有貢獻的成員模型的平均表現。另外，預測方差的減小也導致了整體技能的提升，相比於維護單個模型，增加了擬合、維護多個模型的成本。
儘管集成模型方差更小，但並不一定模型效果會比任何成員模型更好。
“計算智能和機器學習社區的研究人員已經研究了共享這種聯合決策過程的方案。這些方案通常被稱爲集成學習，它可以減少分類器的方差，提高決策系統的魯棒性和準確性。”
— Page v, Ensemble Methods, 2012.
有的時候，表現最好的模型，類似於一個最好的專家，相比於其它模型已經足夠優秀的時候，把這個模型的預測和其他模型整合起來得到的結果，會比最好的那個模型要差。
因此，選擇模型，甚至是集成模型，仍然需要在健壯性的測試工具上進行精心控制的實驗。
擴展閱讀
如果你想繼續研究，這個部分提供了一些相關資源。
書籍
The Wisdom of Crowds, 2004.
Pattern Classification Using Ensemble Methods, 2010.
Ensemble Methods, 2012.
Ensemble Machine Learning, 2012.
文章
Ensemble learning, Wikipedia.
Ensemble learning, Scholarpedia.
Wisdom of the crowd, Wikipedia.
The Wisdom of Crowds, Wikipedia.
總結
本文幫助你對集成學習建立了初步的瞭解。
其中，你可以學習到：
我們做的許多決定包含了其他人的意見或投票。
羣體的決策優於個體，被叫做羣體的智慧。
集成機器學習是把多個成熟模型的預測結果組合起來。
原文鏈接：
https://machinelearningmastery.com/what-is-ensemble-learning/
原文標題：
A Gentle Introduction to Ensemble Learning
END
版權聲明：本號內容部分來自互聯網，轉載請註明原文鏈接和作者，如有侵權或出處有誤請和我們聯繫。
合作請加QQ：365242293
數據分析（ID : ecshujufenxi ）互聯網科技與數據圈自己的微信，也是WeMedia自媒體聯盟成員之一，WeMedia聯盟覆蓋5000萬人羣。
