深度學(xué)習(xí) vs. 概率圖模型 vs. 邏輯學(xué)

通過本文我們能夠更深入地理解人工智能和深度學(xué)習(xí)的現(xiàn)狀與未來。

以下為正文：

今天，我們一起來回顧過去50年人工智能（AI）領(lǐng)域形成的三大范式：邏輯學(xué)、概率方法和深度學(xué)習(xí)。如今，無論依靠經(jīng)驗(yàn)和“數(shù)據(jù)驅(qū)動(dòng)”的方式，還是大數(shù)據(jù)、深度學(xué)習(xí)的概念，都已經(jīng)深入人心，可是早期并非如此。很多早期的人工智能方法是基于邏輯，并且從基于邏輯到數(shù)據(jù)驅(qū)動(dòng)方法的轉(zhuǎn)變過程受到了概率論思想的深度影響，接下來我們就談?wù)勥@個(gè)過程。

本文按時(shí)間順序展開，先回顧邏輯學(xué)和概率圖方法，然后就人工智能和機(jī)器學(xué)習(xí)的未來走向做出一些預(yù)測。

圖片來源：Coursera的概率圖模型課

1. 邏輯和算法 （常識性的“思考”機(jī)）

許多早期的人工智能工作都是關(guān)注邏輯、自動(dòng)定理證明和操縱各種符號。John McCarthy于1959年寫的那篇開創(chuàng)性論文取名為《常識編程》也是順勢而為。

如果翻開當(dāng)下最流行的AI教材之一——《人工智能：一種現(xiàn)代方法》（AIMA），我們會直接注意到書本開篇就是介紹搜索、約束滿足問題、一階邏輯和規(guī)劃。第三版封面（見下圖）像一張大棋盤（因?yàn)槠逅嚲渴侨祟愔腔鄣臉?biāo)志），還印有阿蘭·圖靈（計(jì)算機(jī)理論之父）和亞里士多德（最偉大的古典哲學(xué)家之一，象征著智慧）的照片。

AIMA 的封面，它是CS專業(yè)本科AI課程的規(guī)范教材

然而，基于邏輯的AI遮掩了感知問題，而我很早之前就主張了解感知的原理是解開智能之謎的金鑰匙。感知是屬于那類對于人很容易而機(jī)器很難掌握的東西。（延伸閱讀：《計(jì)算機(jī)視覺當(dāng)屬人工智能》，作者2011年的博文）邏輯是純粹的，傳統(tǒng)的象棋機(jī)器人也是純粹算法化的，但現(xiàn)實(shí)世界卻是丑陋的，骯臟的，充滿了不確定性。

我想大多數(shù)當(dāng)代人工智能研究者都認(rèn)為基于邏輯的AI已經(jīng)死了。萬物都能完美觀察、不存在測量誤差的世界不是機(jī)器人和大數(shù)據(jù)所在的真實(shí)世界。我們生活在機(jī)器學(xué)習(xí)的時(shí)代，數(shù)字技術(shù)擊敗了一階邏輯。站在2015年，我真是替那些死守肯定前件拋棄梯度下降的傻子們感到惋惜。

邏輯很適合在課堂上講解，我懷疑一旦有足夠的認(rèn)知問題成為“本質(zhì)上解決”，我們將看到邏輯學(xué)的復(fù)蘇。未來存在著很多開放的認(rèn)知問題，那么也就存在很多場景，在這些場景下社區(qū)不用再擔(dān)心認(rèn)知問題，并開始重新審視這些經(jīng)典的想法。也許在2020年。

2. 概率，統(tǒng)計(jì)和圖模型（“測量”機(jī)）

概率方法在人工智能是用來解決問題的不確定性?！度斯ぶ悄?一種現(xiàn)代方法》一書的中間章節(jié)介紹“不確定知識與推理”，生動(dòng)地介紹了這些方法。如果你第一次拿起AIMA，我建議你從本節(jié)開始閱讀。如果你是一個(gè)剛剛接觸AI的學(xué)生，不要吝嗇在數(shù)學(xué)下功夫。

來自賓夕法尼亞州立大學(xué)的概率論與數(shù)理統(tǒng)計(jì)課程的PDF文件

大多數(shù)人在提到的概率方法時(shí)，都以為只是計(jì)數(shù)。外行人很容易想當(dāng)然地認(rèn)為概率方法就是花式計(jì)數(shù)方法。那么我們簡要地回顧過去統(tǒng)計(jì)思維里這兩種不相上下的方法。

頻率論方法很依賴經(jīng)驗(yàn)——這些方法是數(shù)據(jù)驅(qū)動(dòng)且純粹依靠數(shù)據(jù)做推論。貝葉斯方法更為復(fù)雜，并且它結(jié)合數(shù)據(jù)驅(qū)動(dòng)似然和先驗(yàn)。這些先驗(yàn)往往來自第一原則或“直覺”，貝葉斯方法則善于把數(shù)據(jù)和啟發(fā)式思維結(jié)合做出更聰明的算法——理性主義和經(jīng)驗(yàn)主義世界觀的完美組合。

最令人興奮的，后來的頻率論與貝葉斯之爭，是一些被稱為概率圖模型的東西。該類技術(shù)來自計(jì)算機(jī)科學(xué)領(lǐng)域，盡管機(jī)器學(xué)習(xí)現(xiàn)在是CS和統(tǒng)計(jì)度的重要組成部分，統(tǒng)計(jì)和運(yùn)算結(jié)合的時(shí)候它強(qiáng)大的能力才真正釋放出來。

概率圖模型是圖論與概率方法的結(jié)合產(chǎn)物，2000年代中期它們都曾在機(jī)器學(xué)習(xí)研究人員中風(fēng)靡一時(shí)。當(dāng)年我在研究生院的時(shí)候（2005-2011），變分法、Gibbs抽樣和置信傳播算法被深深植入在每位CMU研究生的大腦中，并為我們提供了思考機(jī)器學(xué)習(xí)問題的一個(gè)極好的心理框架。我所知道大部分關(guān)于圖模型的知識都是來自于Carlos Guestrin和Jonathan Huang。Carlos Guestrin現(xiàn)在是GraphLab公司（現(xiàn)改名為Dato）的CEO，這家公司生產(chǎn)大規(guī)模的產(chǎn)品用于圖像的機(jī)器學(xué)習(xí)。Jonathan Huang現(xiàn)在是Google的高級研究員。

下面的視頻盡管是GraphLab的概述，但它也完美地闡述了“圖形化思維”，以及現(xiàn)代數(shù)據(jù)科學(xué)家如何得心應(yīng)手地使用它。Carlos是一個(gè)優(yōu)秀的講師，他的演講不局限于公司的產(chǎn)品，更多的是提供下一代機(jī)器學(xué)習(xí)系統(tǒng)的思路。

概率圖模型的計(jì)算方法介紹（視頻和PPT下載）

Dato CEO，Carlos Guestrin教授

如果你覺得深度學(xué)習(xí)能夠解決所有機(jī)器學(xué)習(xí)問題，真得好好看看上面的視頻。如果你正在構(gòu)建一套推薦系統(tǒng)，一個(gè)健康數(shù)據(jù)分析平臺，設(shè)計(jì)一個(gè)新的交易算法，或者開發(fā)下一代搜索引擎，圖模型都是完美的起點(diǎn)。

3. 深度學(xué)習(xí)和機(jī)器學(xué)習(xí)（數(shù)據(jù)驅(qū)動(dòng)機(jī)）

機(jī)器學(xué)習(xí)是從樣本學(xué)習(xí)的過程，所以當(dāng)前最先進(jìn)的識別技術(shù)需要大量訓(xùn)練數(shù)據(jù)，還要用到深度神經(jīng)網(wǎng)絡(luò)和足夠耐心。深度學(xué)習(xí)強(qiáng)調(diào)了如今那些成功的機(jī)器學(xué)習(xí)算法中的網(wǎng)絡(luò)架構(gòu)。這些方法都是基于包含很多隱藏層的“深”多層神經(jīng)網(wǎng)絡(luò)。注：我想強(qiáng)調(diào)的是深層結(jié)構(gòu)如今（2015年）不再是什么新鮮事。只需看看下面這篇1998年的“深層”結(jié)構(gòu)文章。

LeNet-5，Yann LeCun開創(chuàng)性的論文《基于梯度學(xué)習(xí)的文檔識別方法》

你在閱讀LeNet模型導(dǎo)讀時(shí)，能看到以下條款聲明：

要在GPU上運(yùn)行這個(gè)示例，首先得有個(gè)性能良好的GPU。GPU內(nèi)存至少要1GB。如果顯示器連著GPU，可能需要更多內(nèi)存。

當(dāng)GPU和顯示器相連時(shí)，每次GPU函數(shù)調(diào)用都有幾秒鐘的時(shí)限。這么做是必不可少的，因?yàn)槟壳暗腉PU在進(jìn)行運(yùn)算時(shí)無法繼續(xù)為顯示器服務(wù)。如果沒有這個(gè)限制，顯示器將會凍結(jié)太久，計(jì)算機(jī)看上去像是死機(jī)了。若用中等質(zhì)量的GPU處理這個(gè)示例，就會遇到超過時(shí)限的問題。GPU不連接顯示器時(shí)就不存在這個(gè)時(shí)間限制。你可以降低批處理大小來解決超時(shí)問題。

我真的十分好奇Yann究竟是如何早在1998年就把他的深度模型折騰出一些東西。毫不奇怪，我們大伙兒還得再花十年來消化這些內(nèi)容。

更新：Yann說（通過Facebook的評論）ConvNet工作可以追溯到1989年?！八写蠹s400K連接，并且在一臺SUN4機(jī)器上花了大約3個(gè)星期訓(xùn)練USPS數(shù)據(jù)集（8000個(gè)訓(xùn)練樣本）?！薄狶eCun

注：大概同一時(shí)期（1998年左右）加州有兩個(gè)瘋狂的家伙在車庫里試圖把整個(gè)互聯(lián)網(wǎng)緩存到他們的電腦（他們創(chuàng)辦了一家G打頭的公司）。我不知道他們是如何做到的，但我想有時(shí)候需要超前做些并不大規(guī)模的事情才能取得大成就。世界最終將迎頭趕上的。

結(jié)論

我沒有看到傳統(tǒng)的一階邏輯很快卷土重來。雖然在深度學(xué)習(xí)背后有很多炒作，分布式系統(tǒng)和“圖形思維”對數(shù)據(jù)科學(xué)的影響更可能比重度優(yōu)化的CNN來的更深遠(yuǎn)。深度學(xué)習(xí)沒有理由不和GraphLab-style架構(gòu)結(jié)合，未來幾十年機(jī)器學(xué)習(xí)領(lǐng)域的重大突破也很有可能來自這兩部分的結(jié)合。