在過去的幾十年中，機器學(xué)習領(lǐng)域發(fā)生了巨大的變化。誠然，有些方法已經(jīng)存在很長時間了，但仍然是該領(lǐng)域的主要內(nèi)容。例如，Legendre和Gauss已經(jīng)在19世紀初提出了最小二乘的概念。在最近的幾十年中，諸如神經(jīng)網(wǎng)絡(luò)等其他方法的最基本形式在1958年得到了極大的發(fā)展，而諸如支持向量機（SVM）等其他方法則是最近的。

由于監(jiān)督學(xué)習的可用方法很多，因此經(jīng)常會提出以下問題：**最佳模型是什么？**眾所周知，這個問題很難回答，因為正如喬治·博克斯（George Box）所說的那樣，所有模型都是錯誤的，但有些模型是有用的。特別是，模型的實用性主要取決于手頭的數(shù)據(jù)。因此，這個問題沒有普遍的答案。以下是一個更容易回答的問題：什么是最受歡迎的模型？。這將是本文的關(guān)注點。

衡量機器學(xué)習模型的受歡迎程度

出于本文的目的，我將使用一種常用方法來定義流行度。更準確地說，我將使用許多提及個別監(jiān)督學(xué)習模型的科學(xué)出版物來代替受歡迎程度。當然，這種方法有一些局限性：

• 流行的概念可能比出版物的數(shù)量更準確。例如，批評某種模型的出版物并不一定暗示該模型很受歡迎。
• 該分析受所用搜索詞的影響。為了確保高度的特異性，我沒有考慮模型縮寫，這就是為什么我可能未檢索到所有潛在匹配的原因。此外，對于那些也被分析中未考慮的搜索詞引用的模型，靈敏度可能較低。
• 文獻數(shù)據(jù)庫并不完美：有時，出版物存儲的原數(shù)據(jù)不正確（例如，年份不正確），或者出版物可能重復(fù)。因此，可以預(yù)料到出版頻率中會有一些噪聲。

對于這一部分，我進行了兩次分析。第一種分析是對發(fā)布頻率的縱向分析，而第二種分析則比較了跨不同領(lǐng)域與機器學(xué)習模型相關(guān)的發(fā)布總數(shù)。

對于第一個分析，我通過從Google Scholar中抓取數(shù)據(jù)來確定了出版物的數(shù)量，Google Scholar考慮了科學(xué)出版物的標題和摘要。為了確定與個別監(jiān)督學(xué)習方法相關(guān)的出版物數(shù)量，我確定了1950年至2017年之間的Google Scholar命中次數(shù)。眾所周知，由于從Google Scholar抓取數(shù)據(jù)非常困難，因此本文參考ScrapeHero提供的有用建議來收集數(shù)據(jù)。

在分析中包括以下13種監(jiān)督方法：神經(jīng)網(wǎng)絡(luò)，深度學(xué)習，SVM，隨機森林，決策樹，線性回歸，邏輯回歸，泊松回歸，嶺回歸，套索回歸，k近鄰，線性判別分析和對數(shù)線性模型。其中，對于套索回歸，搜索時考慮了搜索套索回歸和套索模型。對于最近鄰方法，搜索時術(shù)語有k-nearest neighbor和k-nearest neighbour，得到的數(shù)據(jù)集表示從1950年到現(xiàn)在，每個監(jiān)督模型相關(guān)的出版物的數(shù)量。

從1950年開始至今使用監(jiān)督模型

為了分析縱向數(shù)據(jù)，我將區(qū)分兩個時期：機器學(xué)習的早期階段（1950年至1980年），在那兒只有很少的模型可用；而形成性的年份（1980年到現(xiàn)在），對機器學(xué)習的興趣激增，很多時期開發(fā)了新模型。請注意，在以下可視化中，僅顯示最相關(guān)的方法。

早期：線性回歸的優(yōu)勢

從圖1中可以看出，線性回歸是1950年至1980年之間的主要方法。相比之下，其他機器學(xué)習模型在科學(xué)文獻中很少被提及。但是，從1960年代開始，我們可以看到神經(jīng)網(wǎng)絡(luò)和決策樹的普及開始增長。我們還可以看到，邏輯回歸尚未得到廣泛應(yīng)用，在1970年代末，提及的數(shù)量僅略有增加。

!

成長年：神經(jīng)網(wǎng)絡(luò)的多元化和興起

圖2表明，從1980年代后期開始，科學(xué)出版物中提到的監(jiān)督模型變得更加多樣化。重要的是，直到2013年，科學(xué)文獻中提到的機器學(xué)習模型的比率一直在穩(wěn)定增長。該圖尤其表明了線性回歸，邏輯回歸和神經(jīng)網(wǎng)絡(luò)的普及。正如我們之前所看到的，線性回歸在1980年之前已經(jīng)很流行。但是，在1980年，神經(jīng)網(wǎng)絡(luò)和邏輯回歸的普及開始迅速增長。當Logistic回歸的普及率在2010年達到頂峰時，該方法幾乎與線性回歸一樣流行，但神經(jīng)網(wǎng)絡(luò)和深度學(xué)習（曲線神經(jīng)網(wǎng)絡(luò)/深度學(xué)習）的共同普及 圖2）在2015年甚至超過了線性回歸的流行程度。

神經(jīng)網(wǎng)絡(luò)之所以廣受青睞，是因為它們在諸如圖像識別（ImageNet，2012），面部識別（DeepFace，2014）和游戲（AlphaGo，2016）等機器學(xué)習應(yīng)用中取得了突破。Google Scholar的數(shù)據(jù)表明，在最近幾年中，科學(xué)文章中提到神經(jīng)網(wǎng)絡(luò)的頻率略有下降（圖2中未顯示）。這是有可能的，因為術(shù)語深度學(xué)習（多層神經(jīng)網(wǎng)絡(luò)）已在一定程度上取代了術(shù)語神經(jīng)網(wǎng)絡(luò)的使用。使用Google趨勢可以找到相同的結(jié)果。

剩下的，較少流行的監(jiān)督方法是決策樹和SVM。與排名前三的方法相比，提及這些方法的比率明顯較小。另一方面，文獻中提到這些方法的頻率似乎也較少波動。值得注意的是，決策樹和SVM的流行度都沒有下降。這與其他方法（例如線性和邏輯回歸）相反，后者在過去幾年中被提及的數(shù)量已大大減少。在決策樹和SVM之間，提到的SVM似乎顯示出更有利的增長趨勢，因為SVM僅在發(fā)明15年后就成功超過了決策樹。

所考慮的機器學(xué)習模型的提及次數(shù)在2013年達到頂峰（589,803個出版物），此后略有下降（2017年為462,045個出版物）。

監(jiān)督學(xué)習模型在不同領(lǐng)域的普及

在第二個分析中，我想調(diào)查不同的社區(qū)是否依賴于不同的機器學(xué)習技術(shù)。為此，我查詢了三個用于科學(xué)出版物的存儲庫：用于普通出版物的Google Scholar，用于計算機科學(xué)出版物的dblp，以及用于生物醫(yī)學(xué)科學(xué)的PubMed。在這三個存儲庫中，我統(tǒng)計了13種機器學(xué)習模型的命中頻率。結(jié)果如圖3所示。

圖3證明了許多方法是特定于各個領(lǐng)域的。接下來，讓我們分析每個領(lǐng)域中最受歡迎的模型。

整體使用監(jiān)督學(xué)習模型

根據(jù)Google Scholar表明，這是五個最常用的監(jiān)督模型：

1. 線性回歸： 3,580,000（34.3％）篇論文
2. **邏輯回歸：**包含2,330,000（22.3％）篇論文
3. 神經(jīng)網(wǎng)絡(luò)： 1,750,000（16.8％）篇論文
4. 決策樹： 875,000（8.4％）篇論文
5. **支持向量機：**包含684,000（6.6％）篇論文

總體而言，線性模型顯然占主導(dǎo)地位，占監(jiān)督模型命中率的50％以上。非線性方法也不甘落后：神經(jīng)網(wǎng)絡(luò)在所有論文中占16.8％，位居第三，其次是決策樹（論文占8.4％）和支持向量機（論文占6.6％）。

模型在生物醫(yī)學(xué)科學(xué)中的使用

根據(jù)PubMed的說法，生物醫(yī)學(xué)中最流行的五個機器學(xué)習模型是：

1. 邏輯回歸： 229,956（54.5％）篇論文
2. 線性回歸： 84,850（20.1％）篇論文
3. Cox回歸： 38,801（9.2％）篇論文
4. 神經(jīng)網(wǎng)絡(luò)： 23,883（5.7％）篇論文
5. 泊松回歸： 12,978（3.1％）篇論文

在生物醫(yī)學(xué)科學(xué)中，我們看到與線性模型相關(guān)的提及數(shù)量過多：五種最流行的方法中有四種是線性的。這可能是由于兩個原因。首先，在醫(yī)療環(huán)境中，樣本數(shù)量通常太少而無法擬合復(fù)雜的非線性模型。其次，解釋結(jié)果的能力對于醫(yī)療應(yīng)用至關(guān)重要。由于非線性方法通常較難解釋，因此它們不適合醫(yī)療應(yīng)用，因為僅靠高預(yù)測性能通常是不夠的。

Logistic回歸在PubMed數(shù)據(jù)中的流行可能是由于大量發(fā)表臨床研究的出版物所致。在這些研究中，經(jīng)常使用邏輯回歸分析分類結(jié)果（即治療成功），因為它非常適合于解釋特征對結(jié)果的影響。請注意，Cox回歸在PubMed數(shù)據(jù)中非常流行，因為它經(jīng)常用于分析Kaplan-Meier生存數(shù)據(jù)。

模型在計算機科學(xué)中的使用

從dblp檢索的計算機科學(xué)參考書目中，五個最受歡迎的模型是：

1. 神經(jīng)網(wǎng)絡(luò)： 63,695（68.3％）篇論文
2. 深度學(xué)習： 10,157（10.9％）篇論文
3. 支持向量機： 7,750（8.1％）篇論文
4. 決策樹： 4,074（4.4％）篇論文
5. k近鄰： 3,839（2.1％）篇論文

計算機科學(xué)出版物中提到的機器學(xué)習模型的分布是非常不同的：大多數(shù)出版物似乎都涉及到最近的非線性方法（例如神經(jīng)網(wǎng)絡(luò)，深度學(xué)習和支持向量機）。如果我們包括深度學(xué)習，那么在檢索到的計算機科學(xué)出版物中，有超過四分之三涉及神經(jīng)網(wǎng)絡(luò)。

機器學(xué)習研究模型和現(xiàn)實應(yīng)用模型的差異

圖4總結(jié)了文獻中提到的參數(shù)（包括半?yún)?shù)）模型和非參數(shù)模型的百分比。條形圖表明，在機器學(xué)習研究中研究的模型（由計算機科學(xué)出版物證明）與所應(yīng)用的模型類型（由生物醫(yī)學(xué)和整體出版物證明）之間存在很大差異。盡管超過90％的計算機科學(xué)出版物都涉及非參數(shù)模型，但大約90％的生物醫(yī)學(xué)出版物都涉及參數(shù)模型。這表明機器學(xué)習研究主要集中在最先進的方法上，例如深度神經(jīng)網(wǎng)絡(luò)，而機器學(xué)習的用戶通常依賴于更具可解釋性的參數(shù)化模型。

總結(jié)

對科學(xué)文獻中有監(jiān)督學(xué)習模型的流行度分析表明了人工神經(jīng)網(wǎng)絡(luò)的高度流行。但是，我們也看到在不同領(lǐng)域中使用了不同類型的機器學(xué)習模型。特別是生物醫(yī)學(xué)領(lǐng)域的研究人員仍然嚴重依賴參數(shù)模型。但有趣的是，這種情況逐漸在發(fā)生改變，隨著可解釋模型的研究更加深入，更復(fù)雜的模型一定會在生物醫(yī)學(xué)領(lǐng)域得到廣泛應(yīng)用。

原文鏈接：https://www.kdnuggets.com/2018/12/supervised-learning-model-popularity-from-past-present.html?spm=a2c4e.10696291.0.0.354819a4R0jQUU