在過去的幾十年中，機器學習領域發生了巨大的變化。誠然，有些方法已經存在很長時間了，但仍然是該領域的主要內容。例如，Legendre和Gauss已經在19世紀初提出了最小二乘的概念。在最近的幾十年中，諸如神經網絡等其他方法的最基本形式在1958年得到了極大的發展，而諸如支持向量機（SVM）等其他方法則是最近的。
由於監督學習的可用方法很多，因此經常會提出以下問題：**最佳模型是什麼？**衆所周知，這個問題很難回答，因爲正如喬治·博克斯（George Box）所說的那樣，所有模型都是錯誤的，但有些模型是有用的。特別是，模型的實用性主要取決於手頭的數據。因此，這個問題沒有普遍的答案。以下是一個更容易回答的問題：什麼是最受歡迎的模型？。這將是本文的關注點。
衡量機器學習模型的受歡迎程度
出於本文的目的，我將使用一種常用方法來定義流行度。更準確地說，我將使用許多提及個別監督學習模型的科學出版物來代替受歡迎程度。當然，這種方法有一些侷限性：
- 流行的概念可能比出版物的數量更準確。例如，批評某種模型的出版物並不一定暗示該模型很受歡迎。
- 該分析受所用搜索詞的影響。爲了確保高度的特異性，我沒有考慮模型縮寫，這就是爲什麼我可能未檢索到所有潛在匹配的原因。此外，對於那些也被分析中未考慮的搜索詞引用的模型，靈敏度可能較低。
- 文獻數據庫並不完美：有時，出版物存儲的原數據不正確（例如，年份不正確），或者出版物可能重複。因此，可以預料到出版頻率中會有一些噪聲。
對於這一部分，我進行了兩次分析。第一種分析是對發佈頻率的縱向分析，而第二種分析則比較了跨不同領域與機器學習模型相關的發佈總數。
對於第一個分析，我通過從Google Scholar中抓取數據來確定了出版物的數量，Google Scholar考慮了科學出版物的標題和摘要。爲了確定與個別監督學習方法相關的出版物數量，我確定了1950年至2017年之間的Google Scholar命中次數。衆所周知，由於從Google Scholar抓取數據非常困難，因此本文參考ScrapeHero提供的有用建議來收集數據。
在分析中包括以下13種監督方法：神經網絡，深度學習，SVM，隨機森林，決策樹，線性迴歸，邏輯迴歸，泊松迴歸，嶺迴歸，套索迴歸，k近鄰，線性判別分析和對數線性模型。其中，對於套索迴歸，搜索時考慮了搜索套索迴歸和套索模型。對於最近鄰方法，搜索時術語有k-nearest neighbor和k-nearest neighbour，得到的數據集表示從1950年到現在，每個監督模型相關的出版物的數量。
從1950年開始至今使用監督模型
爲了分析縱向數據，我將區分兩個時期：機器學習的早期階段（1950年至1980年），在那兒只有很少的模型可用；而形成性的年份（1980年到現在），對機器學習的興趣激增，很多時期開發了新模型。請注意，在以下可視化中，僅顯示最相關的方法。
早期：線性迴歸的優勢
從圖1中可以看出，線性迴歸是1950年至1980年之間的主要方法。相比之下，其他機器學習模型在科學文獻中很少被提及。但是，從1960年代開始，我們可以看到神經網絡和決策樹的普及開始增長。我們還可以看到，邏輯迴歸尚未得到廣泛應用，在1970年代末，提及的數量僅略有增加。
!
成長年：神經網絡的多元化和興起
圖2表明，從1980年代後期開始，科學出版物中提到的監督模型變得更加多樣化。重要的是，直到2013年，科學文獻中提到的機器學習模型的比率一直在穩定增長。該圖尤其表明了線性迴歸，邏輯迴歸和神經網絡的普及。正如我們之前所看到的，線性迴歸在1980年之前已經很流行。但是，在1980年，神經網絡和邏輯迴歸的普及開始迅速增長。當Logistic迴歸的普及率在2010年達到頂峯時，該方法幾乎與線性迴歸一樣流行，但神經網絡和深度學習（曲線神經網絡/深度學習）的共同普及 圖2）在2015年甚至超過了線性迴歸的流行程度。
神經網絡之所以廣受青睞，是因爲它們在諸如圖像識別（ImageNet，2012），面部識別（DeepFace，2014）和遊戲（AlphaGo，2016）等機器學習應用中取得了突破。Google Scholar的數據表明，在最近幾年中，科學文章中提到神經網絡的頻率略有下降（圖2中未顯示）。這是有可能的，因爲術語深度學習（多層神經網絡）已在一定程度上取代了術語神經網絡的使用。使用Google趨勢可以找到相同的結果。
剩下的，較少流行的監督方法是決策樹和SVM。與排名前三的方法相比，提及這些方法的比率明顯較小。另一方面，文獻中提到這些方法的頻率似乎也較少波動。值得注意的是，決策樹和SVM的流行度都沒有下降。這與其他方法（例如線性和邏輯迴歸）相反，後者在過去幾年中被提及的數量已大大減少。在決策樹和SVM之間，提到的SVM似乎顯示出更有利的增長趨勢，因爲SVM僅在發明15年後就成功超過了決策樹。
所考慮的機器學習模型的提及次數在2013年達到頂峯（589,803個出版物），此後略有下降（2017年爲462,045個出版物）。
監督學習模型在不同領域的普及
在第二個分析中，我想調查不同的社區是否依賴於不同的機器學習技術。爲此，我查詢了三個用於科學出版物的存儲庫：用於普通出版物的Google Scholar，用於計算機科學出版物的dblp，以及用於生物醫學科學的PubMed。在這三個存儲庫中，我統計了13種機器學習模型的命中頻率。結果如圖3所示。
圖3證明了許多方法是特定於各個領域的。接下來，讓我們分析每個領域中最受歡迎的模型。
整體使用監督學習模型
根據Google Scholar表明，這是五個最常用的監督模型：
- 線性迴歸： 3,580,000（34.3％）篇論文
- **邏輯迴歸：**包含2,330,000（22.3％）篇論文
- 神經網絡： 1,750,000（16.8％）篇論文
- 決策樹： 875,000（8.4％）篇論文
- **支持向量機：**包含684,000（6.6％）篇論文
總體而言，線性模型顯然占主導地位，佔監督模型命中率的50％以上。非線性方法也不甘落後：神經網絡在所有論文中佔16.8％，位居第三，其次是決策樹（論文佔8.4％）和支持向量機（論文佔6.6％）。
模型在生物醫學科學中的使用
根據PubMed的說法，生物醫學中最流行的五個機器學習模型是：
- 邏輯迴歸： 229,956（54.5％）篇論文
- 線性迴歸： 84,850（20.1％）篇論文
- Cox迴歸： 38,801（9.2％）篇論文
- 神經網絡： 23,883（5.7％）篇論文
- 泊松迴歸： 12,978（3.1％）篇論文
在生物醫學科學中，我們看到與線性模型相關的提及數量過多：五種最流行的方法中有四種是線性的。這可能是由於兩個原因。首先，在醫療環境中，樣本數量通常太少而無法擬合複雜的非線性模型。其次，解釋結果的能力對於醫療應用至關重要。由於非線性方法通常較難解釋，因此它們不適合醫療應用，因爲僅靠高預測性能通常是不夠的。
Logistic迴歸在PubMed數據中的流行可能是由於大量發表臨牀研究的出版物所致。在這些研究中，經常使用邏輯迴歸分析分類結果（即治療成功），因爲它非常適合於解釋特徵對結果的影響。請注意，Cox迴歸在PubMed數據中非常流行，因爲它經常用於分析Kaplan-Meier生存數據。
模型在計算機科學中的使用
從dblp檢索的計算機科學參考書目中，五個最受歡迎的模型是：
- 神經網絡： 63,695（68.3％）篇論文
- 深度學習： 10,157（10.9％）篇論文
- 支持向量機： 7,750（8.1％）篇論文
- 決策樹： 4,074（4.4％）篇論文
- k近鄰： 3,839（2.1％）篇論文
計算機科學出版物中提到的機器學習模型的分佈是非常不同的：大多數出版物似乎都涉及到最近的非線性方法（例如神經網絡，深度學習和支持向量機）。如果我們包括深度學習，那麼在檢索到的計算機科學出版物中，有超過四分之三涉及神經網絡。
機器學習研究模型和現實應用模型的差異
圖4總結了文獻中提到的參數（包括半參數）模型和非參數模型的百分比。條形圖表明，在機器學習研究中研究的模型（由計算機科學出版物證明）與所應用的模型類型（由生物醫學和整體出版物證明）之間存在很大差異。儘管超過90％的計算機科學出版物都涉及非參數模型，但大約90％的生物醫學出版物都涉及參數模型。這表明機器學習研究主要集中在最先進的方法上，例如深度神經網絡，而機器學習的用戶通常依賴於更具可解釋性的參數化模型。
總結
對科學文獻中有監督學習模型的流行度分析表明了人工神經網絡的高度流行。但是，我們也看到在不同領域中使用了不同類型的機器學習模型。特別是生物醫學領域的研究人員仍然嚴重依賴參數模型。但有趣的是，這種情況逐漸在發生改變，隨着可解釋模型的研究更加深入，更復雜的模型一定會在生物醫學領域得到廣泛應用。
原文鏈接：https://www.kdnuggets.com/2018/12/supervised-learning-model-popularity-from-past-present.html?spm=a2c4e.10696291.0.0.354819a4R0jQUU