人工智能、大數(shù)據(jù)與深度學(xué)習(xí)之間的關(guān)系和差異

網(wǎng)絡(luò)上從不缺乏對(duì)數(shù)據(jù)科學(xué)術(shù)語進(jìn)行比較和對(duì)比的文章。文筆各異的人寫出了各式各樣的文章，以此將他們的觀點(diǎn)傳達(dá)給任何愿意傾聽的人。這幾乎是勢不可擋的。

所以我也記錄一下，對(duì)于那些疑惑此文是否也是雷同的帖子。對(duì)，是這樣的。

為什么再來一帖?我是這樣想的，盡管可能有很多分散觀點(diǎn)在定義和比較這些關(guān)聯(lián)術(shù)語，但事實(shí)上是，這些術(shù)語中的大部分是流動(dòng)變化的，并不完全約定俗成，坦率地說，與他人觀點(diǎn)一同暴露是測試和優(yōu)化自己的觀點(diǎn)的最好方法之一。

所以，雖然大家可能不會(huì)完全(甚至是極低限度地)同意我對(duì)這些術(shù)語的大部分看法，但仍然能從中獲得一些東西。數(shù)據(jù)科學(xué)中的一些核心概念需要被解釋，或者至少在我看來是重要的，我會(huì)盡力闡述他們?nèi)绾侮P(guān)聯(lián)，以及答疑這些個(gè)體概念組合在一起時(shí)遇到的困惑。

在獨(dú)立地思考概念之前，有個(gè)不同觀點(diǎn)的例子，KDnuggets的Gregory Piatetsky-Shapiro的維恩圖，概述了我們將要討論的數(shù)據(jù)科學(xué)術(shù)語之間的關(guān)系。建議讀者將此維恩圖與目前Drew Conway的著名的數(shù)據(jù)科學(xué)維恩圖，以及我下面的討論和帖子底部的修改過程/關(guān)系圖進(jìn)行比較。我認(rèn)為，盡管存在差異，但這些概念具有一定的相似性。

現(xiàn)在我們將對(duì)上述維恩圖中圈選的6個(gè)核心概念進(jìn)行分析，并提供一些關(guān)于如何將它們?nèi)谌霐?shù)據(jù)科學(xué)的洞察。我們很快就會(huì)摒棄過去十年最熱門的一些術(shù)語。

大數(shù)據(jù)(Big Data)

有各種各樣的文章在定義大數(shù)據(jù)，我不打算花太多時(shí)間在這個(gè)概念上。簡單地來說，大數(shù)據(jù)通常被定義為“超出常用軟件工具捕獲，管理和處理能力”的數(shù)據(jù)集。 大數(shù)據(jù)是一個(gè)移動(dòng)目標(biāo); 這個(gè)定義既模糊又準(zhǔn)確，足以捕捉其主要特征。

至于其他的概念，我們將通過調(diào)查，很好的獲得搜索字詞的流行度和N-gram頻率模型的一些初步了解，以便將這個(gè)難點(diǎn)與熱點(diǎn)炒作分開。鑒于這兩個(gè)概念相對(duì)較新，從1980年至2008年，N-gram頻率模型作為一個(gè)“舊”的概念如上圖所示。

最近的Google趨勢顯示2個(gè)新詞上升，另外2個(gè)保持持續(xù)上升，以及最后一個(gè)逐漸下降但有明顯的下降。請注意，由于已經(jīng)對(duì)數(shù)據(jù)進(jìn)行了定量分析，‘大數(shù)據(jù)’未包含在上述圖形中。繼續(xù)閱讀，以便進(jìn)一步了解觀測結(jié)果。

機(jī)器學(xué)習(xí)(Machine learning)

據(jù)Tom Mitchell在關(guān)于這個(gè)主題的創(chuàng)作書中闡述，機(jī)器學(xué)習(xí)“關(guān)心的問題是如何構(gòu)建計(jì)算機(jī)程序使用經(jīng)驗(yàn)自動(dòng)改進(jìn)”。機(jī)器學(xué)習(xí)本質(zhì)上是跨學(xué)科的，采用計(jì)算機(jī)科學(xué)，統(tǒng)計(jì)學(xué)和人工智能等方面的技術(shù)。機(jī)器學(xué)習(xí)研究的主要工作是促進(jìn)經(jīng)驗(yàn)自動(dòng)改進(jìn)的算法，可以應(yīng)用于各種不同領(lǐng)域。

我不認(rèn)為有人會(huì)懷疑機(jī)器學(xué)習(xí)是數(shù)據(jù)科學(xué)的核心組成。我在下面給出數(shù)據(jù)科學(xué)的詳細(xì)描述，如果你認(rèn)為在一個(gè)非常高的水平上其目標(biāo)是從數(shù)據(jù)中獲取洞察力，其實(shí)機(jī)器學(xué)習(xí)是允許此過程自動(dòng)化的。機(jī)器學(xué)習(xí)與古典統(tǒng)計(jì)學(xué)有很多共同點(diǎn)，因?yàn)樗褂脴颖緛硗茢嗪透爬ā?a href='/map/shujutongji/' style='color:#000;font-size:inherit;'>數(shù)據(jù)統(tǒng)計(jì)更多地側(cè)重于描述性(盡管可以通過外推來預(yù)測)，機(jī)器學(xué)習(xí)對(duì)描述性分析的關(guān)注很少，并且僅將其用作中間步驟以便能夠進(jìn)行更好預(yù)測。機(jī)器學(xué)習(xí)通常被認(rèn)為是模式識(shí)別的同義詞;真的不會(huì)從我這里發(fā)生太多的分歧，我相信，‘模式識(shí)別’這個(gè)術(shù)語意味著實(shí)際上是一個(gè)比機(jī)器學(xué)習(xí)更不復(fù)雜和更簡單化的過程，這就是為什么我傾向于回避它。

機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘有著復(fù)雜的關(guān)系。

數(shù)據(jù)挖掘(Data Mining)

Fayyad，Piatetsky-Shapiro&Smyth將數(shù)據(jù)挖掘定義為“從數(shù)據(jù)中提取模式的特定算法的應(yīng)用”。這表明，在數(shù)據(jù)挖掘中，重點(diǎn)在于算法的應(yīng)用，而不是算法本身。我們可以定義機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘之間的關(guān)系如下：數(shù)據(jù)挖掘是一個(gè)過程，在此過程中機(jī)器學(xué)習(xí)算法被用作提取數(shù)據(jù)集中的潛在有價(jià)值模式的工具。

‘數(shù)據(jù)挖掘’作為機(jī)器學(xué)習(xí)的姊妹術(shù)語，也是數(shù)據(jù)科學(xué)的關(guān)鍵。在數(shù)據(jù)科學(xué)術(shù)語爆發(fā)泛濫之前，事實(shí)上，數(shù)據(jù)挖掘’在Google搜索術(shù)語中取得了更大的成功?？纯碐oogle趨勢比上圖顯示的還要早5年，數(shù)據(jù)挖掘’曾經(jīng)更受歡迎。然而，今天，數(shù)據(jù)挖掘’似乎被劃分為機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)之間的概念。若有人同意上述解釋，數(shù)據(jù)挖掘是一個(gè)過程，那么將數(shù)據(jù)科學(xué)視為數(shù)據(jù)挖掘的超集，那么后續(xù)的術(shù)語都是有意義的。

深度學(xué)習(xí)(Deep Learning)

盡管在早期的在線搜索急劇爆發(fā)之前它已經(jīng)存在，‘深度學(xué)習(xí)’仍是一個(gè)相對(duì)較新的術(shù)語。由于學(xué)術(shù)研究和工業(yè)的蓬勃發(fā)展，其在不同領(lǐng)域取得了巨大成就，深度學(xué)習(xí)是應(yīng)用深層神經(jīng)網(wǎng)絡(luò)技術(shù)(即具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)架構(gòu))來解決問題。深度學(xué)習(xí)是一個(gè)類似數(shù)據(jù)挖掘的過程，它采用深層神經(jīng)網(wǎng)絡(luò)架構(gòu)，這是特定類型的機(jī)器學(xué)習(xí)算法。

深度學(xué)習(xí)已經(jīng)取得了令人印象深刻的成就。有鑒于此，至少在我看來，務(wù)必要注意幾點(diǎn)：

深度學(xué)習(xí)不是靈丹妙藥 – 對(duì)于每個(gè)問題來說，并不是一個(gè)簡單一刀切的解決方案。

這不是傳說中的萬能算法 – 深度學(xué)習(xí)不會(huì)取代所有其他機(jī)器學(xué)習(xí)算法和數(shù)據(jù)科學(xué)技術(shù)，至少還沒有被證明是這樣。

適度的期望是必要的 – 盡管最近在各種類型的分類問題上，特別是計(jì)算機(jī)視覺和自然語言處理以及強(qiáng)化學(xué)習(xí)等領(lǐng)域已經(jīng)取得了巨大的進(jìn)步，但當(dāng)代深度學(xué)習(xí)并沒有擴(kuò)大到非常復(fù)雜的問題，例如“解決世界和平”。

深度學(xué)習(xí)和人工智能不是同義詞。

深度學(xué)習(xí)可以幫助數(shù)據(jù)科學(xué)以附加過程和工具的形式解決問題，而在這種觀察中，深入學(xué)習(xí)是數(shù)據(jù)科學(xué)領(lǐng)域的一個(gè)非常有價(jià)值的補(bǔ)充。

人工智能

大多數(shù)人發(fā)現(xiàn)人工智能很難用一個(gè)精確的，甚至是廣泛的定義講出來。我不是一個(gè)人工智能研究者，所以我的答案可能與其他領(lǐng)域的人差別很大。多年來通過對(duì)AI的思想哲學(xué)研究，我得出的結(jié)論是，人工智能，至少我們通常認(rèn)為的想法的概念，實(shí)際上并不存在。

在我看來，AI是一個(gè)標(biāo)尺，一個(gè)移動(dòng)目標(biāo)，一個(gè)渴望而不可及的目標(biāo)。每當(dāng)我們邁向AI成就之路，不知何故，這些成就似乎又變成了被稱為其他的東西。

我曾經(jīng)讀過如下內(nèi)容：如果你在上世紀(jì)60年代問AI的研究人員，他們對(duì)AI的想法是什么，他們可能會(huì)一致認(rèn)為，可以幫助我們預(yù)測下一步行動(dòng)和欲望，所有人類知識(shí)可以隨時(shí)獲取，一個(gè)適合我們口袋的小型設(shè)備就是真實(shí)的AI。但是今天我們都攜帶智能手機(jī)，很少有人會(huì)把它們稱為人工智能。

AI適合數(shù)據(jù)科學(xué)?嗯，正如我所說，我不認(rèn)為AI真的是有形的，我想很難說它適合任何地方。但，一些數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)相關(guān)領(lǐng)域，人工智能可以提供助力，有時(shí)與實(shí)體一樣有價(jià)值;計(jì)算機(jī)視覺肯定會(huì)引起注意，現(xiàn)代深度學(xué)習(xí)研究也是如此，得益于人工智能的精神氣質(zhì)，若不是無限期的話。

AI可能是研究和開發(fā)設(shè)備，從來沒有在同名行業(yè)中產(chǎn)生任何東西。我想說，從AI到數(shù)據(jù)科學(xué)的這條路徑可能不是查看兩者之間的關(guān)系的最佳方式，但是兩個(gè)實(shí)體之間的許多中間步驟已經(jīng)被AI以某種形式開發(fā)和完善了。

數(shù)據(jù)科學(xué)(Data Science)

那么，在討論這些相關(guān)概念和數(shù)據(jù)科學(xué)的地位之后，數(shù)據(jù)科學(xué)究竟是什么呢?對(duì)我來說，這是試圖精確定義的一個(gè)最難的概念。數(shù)據(jù)科學(xué)是一個(gè)多方面的學(xué)科，包括機(jī)器學(xué)習(xí)和其他分析過程，統(tǒng)計(jì)學(xué)和相關(guān)的數(shù)學(xué)分支，越來越多地從高性能科學(xué)計(jì)算中借鑒，以便最終從數(shù)據(jù)中發(fā)現(xiàn)洞察，并使用這些新發(fā)現(xiàn)的信息來講述故事。這些故事通常伴隨著圖片(我們稱之為可視化)，并針對(duì)行業(yè)，研究甚至是我們自己，目的是從數(shù)據(jù)中獲取一些新的想法。

數(shù)據(jù)科學(xué)采用相關(guān)領(lǐng)域的各種不同工具(請參閱上面所有內(nèi)容)。數(shù)據(jù)科學(xué)既是數(shù)據(jù)挖掘的同義詞，也是數(shù)據(jù)挖掘概念的超集。

數(shù)據(jù)科學(xué)產(chǎn)生各種不同的結(jié)果，但它們都具有共同的洞察力。數(shù)據(jù)科學(xué)是這一切，而且對(duì)你而言，它可能還有別的東西，而且甚至還沒有涵蓋獲取，清理，判別和預(yù)處理數(shù)據(jù)!順便說一下，什么是數(shù)據(jù)呢?它總是大嗎?

我認(rèn)為我的關(guān)于數(shù)據(jù)科學(xué)困惑的觀點(diǎn)，至少可以通過上圖的版本來代表它，以及這篇文章的頂部的Piatetsky-Shapiro的維恩圖。我也建議大多數(shù)與Drew Conway的數(shù)據(jù)科學(xué)維恩圖一致，盡管我會(huì)補(bǔ)充一點(diǎn)：我認(rèn)為他非常合理且實(shí)用的圖像實(shí)際上是指數(shù)據(jù)科學(xué)家，而不是數(shù)據(jù)科學(xué)。這可能是吹毛求疵，但我不認(rèn)為數(shù)據(jù)科學(xué)本身包含黑技能;我相信這是科學(xué)家擁有的技能，以便能夠進(jìn)行數(shù)據(jù)科學(xué)。誠然，這可能是對(duì)語義的嘲弄，但在我心中是有道理的。

當(dāng)然，這不是一個(gè)宏圖的全景，它在不斷地演變。例如，我記得不久以前的一次閱讀，數(shù)據(jù)挖掘是商業(yè)智能的一個(gè)子領(lǐng)域。即使有不同的意見，我真的不能想象今天這是一個(gè)有效的想法(坦率地說，幾年前很難接受)。