在過(guò)去的幾十年中，機(jī)器學(xué)習(xí)領(lǐng)域發(fā)生了巨大的變化。誠(chéng)然，有些方法已經(jīng)存在很長(zhǎng)時(shí)間了，但仍然是該領(lǐng)域的主要內(nèi)容。例如，Legendre和Gauss已經(jīng)在19世紀(jì)初提出了最小二乘的概念。在最近的幾十年中，諸如神經(jīng)網(wǎng)絡(luò)等其他方法的最基本形式在1958年得到了極大的發(fā)展，而諸如支持向量機(jī)（SVM）等其他方法則是最近的。

由于監(jiān)督學(xué)習(xí)的可用方法很多，因此經(jīng)常會(huì)提出以下問(wèn)題：**最佳模型是什么？**眾所周知，這個(gè)問(wèn)題很難回答，因?yàn)檎鐔讨巍げ┛怂梗℅eorge Box）所說(shuō)的那樣，所有模型都是錯(cuò)誤的，但有些模型是有用的。特別是，模型的實(shí)用性主要取決于手頭的數(shù)據(jù)。因此，這個(gè)問(wèn)題沒(méi)有普遍的答案。以下是一個(gè)更容易回答的問(wèn)題：什么是最受歡迎的模型？。這將是本文的關(guān)注點(diǎn)。

衡量機(jī)器學(xué)習(xí)模型的受歡迎程度

出于本文的目的，我將使用一種常用方法來(lái)定義流行度。更準(zhǔn)確地說(shuō)，我將使用許多提及個(gè)別監(jiān)督學(xué)習(xí)模型的科學(xué)出版物來(lái)代替受歡迎程度。當(dāng)然，這種方法有一些局限性：

• 流行的概念可能比出版物的數(shù)量更準(zhǔn)確。例如，批評(píng)某種模型的出版物并不一定暗示該模型很受歡迎。
• 該分析受所用搜索詞的影響。為了確保高度的特異性，我沒(méi)有考慮模型縮寫(xiě)，這就是為什么我可能未檢索到所有潛在匹配的原因。此外，對(duì)于那些也被分析中未考慮的搜索詞引用的模型，靈敏度可能較低。
• 文獻(xiàn)數(shù)據(jù)庫(kù)并不完美：有時(shí)，出版物存儲(chǔ)的原數(shù)據(jù)不正確（例如，年份不正確），或者出版物可能重復(fù)。因此，可以預(yù)料到出版頻率中會(huì)有一些噪聲。

對(duì)于這一部分，我進(jìn)行了兩次分析。第一種分析是對(duì)發(fā)布頻率的縱向分析，而第二種分析則比較了跨不同領(lǐng)域與機(jī)器學(xué)習(xí)模型相關(guān)的發(fā)布總數(shù)。

對(duì)于第一個(gè)分析，我通過(guò)從Google Scholar中抓取數(shù)據(jù)來(lái)確定了出版物的數(shù)量，Google Scholar考慮了科學(xué)出版物的標(biāo)題和摘要。為了確定與個(gè)別監(jiān)督學(xué)習(xí)方法相關(guān)的出版物數(shù)量，我確定了1950年至2017年之間的Google Scholar命中次數(shù)。眾所周知，由于從Google Scholar抓取數(shù)據(jù)非常困難，因此本文參考ScrapeHero提供的有用建議來(lái)收集數(shù)據(jù)。

在分析中包括以下13種監(jiān)督方法：神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)，SVM，隨機(jī)森林，決策樹(shù)，線(xiàn)性回歸，邏輯回歸，泊松回歸，嶺回歸，套索回歸，k近鄰，線(xiàn)性判別分析和對(duì)數(shù)線(xiàn)性模型。其中，對(duì)于套索回歸，搜索時(shí)考慮了搜索套索回歸和套索模型。對(duì)于最近鄰方法，搜索時(shí)術(shù)語(yǔ)有k-nearest neighbor和k-nearest neighbour，得到的數(shù)據(jù)集表示從1950年到現(xiàn)在，每個(gè)監(jiān)督模型相關(guān)的出版物的數(shù)量。

從1950年開(kāi)始至今使用監(jiān)督模型

為了分析縱向數(shù)據(jù)，我將區(qū)分兩個(gè)時(shí)期：機(jī)器學(xué)習(xí)的早期階段（1950年至1980年），在那兒只有很少的模型可用；而形成性的年份（1980年到現(xiàn)在），對(duì)機(jī)器學(xué)習(xí)的興趣激增，很多時(shí)期開(kāi)發(fā)了新模型。請(qǐng)注意，在以下可視化中，僅顯示最相關(guān)的方法。

早期：線(xiàn)性回歸的優(yōu)勢(shì)

從圖1中可以看出，線(xiàn)性回歸是1950年至1980年之間的主要方法。相比之下，其他機(jī)器學(xué)習(xí)模型在科學(xué)文獻(xiàn)中很少被提及。但是，從1960年代開(kāi)始，我們可以看到神經(jīng)網(wǎng)絡(luò)和決策樹(shù)的普及開(kāi)始增長(zhǎng)。我們還可以看到，邏輯回歸尚未得到廣泛應(yīng)用，在1970年代末，提及的數(shù)量?jī)H略有增加。

!

成長(zhǎng)年：神經(jīng)網(wǎng)絡(luò)的多元化和興起

圖2表明，從1980年代后期開(kāi)始，科學(xué)出版物中提到的監(jiān)督模型變得更加多樣化。重要的是，直到2013年，科學(xué)文獻(xiàn)中提到的機(jī)器學(xué)習(xí)模型的比率一直在穩(wěn)定增長(zhǎng)。該圖尤其表明了線(xiàn)性回歸，邏輯回歸和神經(jīng)網(wǎng)絡(luò)的普及。正如我們之前所看到的，線(xiàn)性回歸在1980年之前已經(jīng)很流行。但是，在1980年，神經(jīng)網(wǎng)絡(luò)和邏輯回歸的普及開(kāi)始迅速增長(zhǎng)。當(dāng)Logistic回歸的普及率在2010年達(dá)到頂峰時(shí)，該方法幾乎與線(xiàn)性回歸一樣流行，但神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)（曲線(xiàn)神經(jīng)網(wǎng)絡(luò)/深度學(xué)習(xí)）的共同普及 圖2）在2015年甚至超過(guò)了線(xiàn)性回歸的流行程度。

神經(jīng)網(wǎng)絡(luò)之所以廣受青睞，是因?yàn)樗鼈冊(cè)谥T如圖像識(shí)別（ImageNet，2012），面部識(shí)別（DeepFace，2014）和游戲（AlphaGo，2016）等機(jī)器學(xué)習(xí)應(yīng)用中取得了突破。Google Scholar的數(shù)據(jù)表明，在最近幾年中，科學(xué)文章中提到神經(jīng)網(wǎng)絡(luò)的頻率略有下降（圖2中未顯示）。這是有可能的，因?yàn)樾g(shù)語(yǔ)深度學(xué)習(xí)（多層神經(jīng)網(wǎng)絡(luò)）已在一定程度上取代了術(shù)語(yǔ)神經(jīng)網(wǎng)絡(luò)的使用。使用Google趨勢(shì)可以找到相同的結(jié)果。

剩下的，較少流行的監(jiān)督方法是決策樹(shù)和SVM。與排名前三的方法相比，提及這些方法的比率明顯較小。另一方面，文獻(xiàn)中提到這些方法的頻率似乎也較少波動(dòng)。值得注意的是，決策樹(shù)和SVM的流行度都沒(méi)有下降。這與其他方法（例如線(xiàn)性和邏輯回歸）相反，后者在過(guò)去幾年中被提及的數(shù)量已大大減少。在決策樹(shù)和SVM之間，提到的SVM似乎顯示出更有利的增長(zhǎng)趨勢(shì)，因?yàn)?a href='/map/svm/' style='color:#000;font-size:inherit;'>SVM僅在發(fā)明15年后就成功超過(guò)了決策樹(shù)。

所考慮的機(jī)器學(xué)習(xí)模型的提及次數(shù)在2013年達(dá)到頂峰（589,803個(gè)出版物），此后略有下降（2017年為462,045個(gè)出版物）。

監(jiān)督學(xué)習(xí)模型在不同領(lǐng)域的普及

在第二個(gè)分析中，我想調(diào)查不同的社區(qū)是否依賴(lài)于不同的機(jī)器學(xué)習(xí)技術(shù)。為此，我查詢(xún)了三個(gè)用于科學(xué)出版物的存儲(chǔ)庫(kù)：用于普通出版物的Google Scholar，用于計(jì)算機(jī)科學(xué)出版物的dblp，以及用于生物醫(yī)學(xué)科學(xué)的PubMed。在這三個(gè)存儲(chǔ)庫(kù)中，我統(tǒng)計(jì)了13種機(jī)器學(xué)習(xí)模型的命中頻率。結(jié)果如圖3所示。

圖3證明了許多方法是特定于各個(gè)領(lǐng)域的。接下來(lái)，讓我們分析每個(gè)領(lǐng)域中最受歡迎的模型。

整體使用監(jiān)督學(xué)習(xí)模型

根據(jù)Google Scholar表明，這是五個(gè)最常用的監(jiān)督模型：

1. 線(xiàn)性回歸： 3,580,000（34.3％）篇論文
2. **邏輯回歸：**包含2,330,000（22.3％）篇論文
3. 神經(jīng)網(wǎng)絡(luò)： 1,750,000（16.8％）篇論文
4. 決策樹(shù)： 875,000（8.4％）篇論文
5. **支持向量機(jī)：**包含684,000（6.6％）篇論文

總體而言，線(xiàn)性模型顯然占主導(dǎo)地位，占監(jiān)督模型命中率的50％以上。非線(xiàn)性方法也不甘落后：神經(jīng)網(wǎng)絡(luò)在所有論文中占16.8％，位居第三，其次是決策樹(shù)（論文占8.4％）和支持向量機(jī)（論文占6.6％）。

模型在生物醫(yī)學(xué)科學(xué)中的使用

根據(jù)PubMed的說(shuō)法，生物醫(yī)學(xué)中最流行的五個(gè)機(jī)器學(xué)習(xí)模型是：

1. 邏輯回歸： 229,956（54.5％）篇論文
2. 線(xiàn)性回歸： 84,850（20.1％）篇論文
3. Cox回歸： 38,801（9.2％）篇論文
4. 神經(jīng)網(wǎng)絡(luò)： 23,883（5.7％）篇論文
5. 泊松回歸： 12,978（3.1％）篇論文

在生物醫(yī)學(xué)科學(xué)中，我們看到與線(xiàn)性模型相關(guān)的提及數(shù)量過(guò)多：五種最流行的方法中有四種是線(xiàn)性的。這可能是由于兩個(gè)原因。首先，在醫(yī)療環(huán)境中，樣本數(shù)量通常太少而無(wú)法擬合復(fù)雜的非線(xiàn)性模型。其次，解釋結(jié)果的能力對(duì)于醫(yī)療應(yīng)用至關(guān)重要。由于非線(xiàn)性方法通常較難解釋?zhuān)虼怂鼈儾贿m合醫(yī)療應(yīng)用，因?yàn)閮H靠高預(yù)測(cè)性能通常是不夠的。

Logistic回歸在PubMed數(shù)據(jù)中的流行可能是由于大量發(fā)表臨床研究的出版物所致。在這些研究中，經(jīng)常使用邏輯回歸分析分類(lèi)結(jié)果（即治療成功），因?yàn)樗浅＿m合于解釋特征對(duì)結(jié)果的影響。請(qǐng)注意，Cox回歸在PubMed數(shù)據(jù)中非常流行，因?yàn)樗?jīng)常用于分析Kaplan-Meier生存數(shù)據(jù)。

模型在計(jì)算機(jī)科學(xué)中的使用

從dblp檢索的計(jì)算機(jī)科學(xué)參考書(shū)目中，五個(gè)最受歡迎的模型是：

1. 神經(jīng)網(wǎng)絡(luò)： 63,695（68.3％）篇論文
2. 深度學(xué)習(xí)： 10,157（10.9％）篇論文
3. 支持向量機(jī)： 7,750（8.1％）篇論文
4. 決策樹(shù)： 4,074（4.4％）篇論文
5. k近鄰： 3,839（2.1％）篇論文

計(jì)算機(jī)科學(xué)出版物中提到的機(jī)器學(xué)習(xí)模型的分布是非常不同的：大多數(shù)出版物似乎都涉及到最近的非線(xiàn)性方法（例如神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)和支持向量機(jī)）。如果我們包括深度學(xué)習(xí)，那么在檢索到的計(jì)算機(jī)科學(xué)出版物中，有超過(guò)四分之三涉及神經(jīng)網(wǎng)絡(luò)。

機(jī)器學(xué)習(xí)研究模型和現(xiàn)實(shí)應(yīng)用模型的差異

圖4總結(jié)了文獻(xiàn)中提到的參數(shù)（包括半?yún)?shù)）模型和非參數(shù)模型的百分比。條形圖表明，在機(jī)器學(xué)習(xí)研究中研究的模型（由計(jì)算機(jī)科學(xué)出版物證明）與所應(yīng)用的模型類(lèi)型（由生物醫(yī)學(xué)和整體出版物證明）之間存在很大差異。盡管超過(guò)90％的計(jì)算機(jī)科學(xué)出版物都涉及非參數(shù)模型，但大約90％的生物醫(yī)學(xué)出版物都涉及參數(shù)模型。這表明機(jī)器學(xué)習(xí)研究主要集中在最先進(jìn)的方法上，例如深度神經(jīng)網(wǎng)絡(luò)，而機(jī)器學(xué)習(xí)的用戶(hù)通常依賴(lài)于更具可解釋性的參數(shù)化模型。

總結(jié)

對(duì)科學(xué)文獻(xiàn)中有監(jiān)督學(xué)習(xí)模型的流行度分析表明了人工神經(jīng)網(wǎng)絡(luò)的高度流行。但是，我們也看到在不同領(lǐng)域中使用了不同類(lèi)型的機(jī)器學(xué)習(xí)模型。特別是生物醫(yī)學(xué)領(lǐng)域的研究人員仍然嚴(yán)重依賴(lài)參數(shù)模型。但有趣的是，這種情況逐漸在發(fā)生改變，隨著可解釋模型的研究更加深入，更復(fù)雜的模型一定會(huì)在生物醫(yī)學(xué)領(lǐng)域得到廣泛應(yīng)用。

原文鏈接：https://www.kdnuggets.com/2018/12/supervised-learning-model-popularity-from-past-present.html?spm=a2c4e.10696291.0.0.354819a4R0jQUU