盡管深度學(xué)習(xí)在人工智能領(lǐng)域做出了巨大貢獻(xiàn)，但它還是有一個不太好的地方：它需要大量數(shù)據(jù)。這是深度學(xué)習(xí)的先驅(qū)者和批評家都同意的一件事。實際上，由于有用數(shù)據(jù)的有限可用性有限以及處理該數(shù)據(jù)的計算能力不足，深度學(xué)習(xí)直到幾年前才成為領(lǐng)先的AI技術(shù)。

減少深度學(xué)習(xí)的數(shù)據(jù)依賴性是目前AI研究人員的首要任務(wù)之一。

在AAAI（ the Association for the Advance of Artificial Intelligence ）會議上的主題演講中，計算機(jī)科學(xué)家Yann LeCun討論了當(dāng)前深度學(xué)習(xí)技術(shù)的局限性，并提出了“自我監(jiān)督學(xué)習(xí)”的藍(lán)圖，這是他解決深度學(xué)習(xí)數(shù)據(jù)問題的路線圖。LeCun是深度學(xué)習(xí)的教父之一，也是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的發(fā)明者，而CNN是在過去十年中引發(fā)人工智能革命的關(guān)鍵因素之一。

自監(jiān)督學(xué)習(xí)是創(chuàng)建數(shù)據(jù)高效人工智能系統(tǒng)的幾種計劃之一。在這一點上，很難預(yù)測哪種技術(shù)將成功引發(fā)下一次AI革命。

深度學(xué)習(xí)的局限性

首先，LeCun澄清了一個問題，通常所說的深度學(xué)習(xí)的局限性實際上是監(jiān)督學(xué)習(xí)的局限性。監(jiān)督學(xué)習(xí)是一類需要標(biāo)注訓(xùn)練數(shù)據(jù)的機(jī)器學(xué)習(xí)算法。例如，如果你想創(chuàng)建一個圖像分類模型，你必須在大量的已經(jīng)用適當(dāng)?shù)念愡M(jìn)行了標(biāo)記的圖像上訓(xùn)練它。

深度學(xué)習(xí)不只是神經(jīng)網(wǎng)絡(luò)，它是通過將參數(shù)化的模塊組裝到計算圖中來構(gòu)建系統(tǒng)的，你可以不直接對系統(tǒng)進(jìn)行編程。你定義架構(gòu)，然后調(diào)整的那些些參數(shù)，深度學(xué)習(xí)可以應(yīng)用于不同的學(xué)習(xí)范式，包括監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)以及無監(jiān)督或自我監(jiān)督學(xué)習(xí)。

但是，圍繞深度學(xué)習(xí)和監(jiān)督學(xué)習(xí)的困惑并非沒有道理。目前，已進(jìn)入實際應(yīng)用的大多數(shù)深度學(xué)習(xí)算法都基于監(jiān)督學(xué)習(xí)模型，這充分說明了AI系統(tǒng)當(dāng)前的缺點。我們每天使用的圖像分類器，面部識別系統(tǒng)，語音識別系統(tǒng)以及許多其他AI應(yīng)用程序已經(jīng)在數(shù)百萬個帶有標(biāo)簽的示例中進(jìn)行了訓(xùn)練。

到目前為止，強(qiáng)化學(xué)習(xí)和無監(jiān)督學(xué)習(xí)是學(xué)習(xí)算法的其他類別，其應(yīng)用非常有限。

深度學(xué)習(xí)今天站在哪里？

有監(jiān)督的深度學(xué)習(xí)給了我們很多非常有用的應(yīng)用，特別是在計算機(jī)視覺和自然語言處理的一些領(lǐng)域。深度學(xué)習(xí)在諸如癌癥檢測等敏感應(yīng)用中有發(fā)揮著越來越重要的作用。它也被證明在一些領(lǐng)域非常有用，在這些領(lǐng)域，問題的復(fù)雜性已經(jīng)超出了人類努力的范圍，例如在每天審查社交媒體上發(fā)布的大量內(nèi)容時需要注意的一些問題。

但如前所述，監(jiān)督學(xué)習(xí)僅適用于有足夠高質(zhì)量數(shù)據(jù)且數(shù)據(jù)可以捕獲所有可能場景的情況。一旦經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型面對不同于其訓(xùn)練示例的新穎示例，它們就會開始以不可預(yù)知的方式表現(xiàn)。在某些情況下，從一個稍微不同的角度顯示一個對象可能足以混淆一個神經(jīng)網(wǎng)絡(luò)，使之誤認(rèn)為它與其他東西。

深度強(qiáng)化學(xué)習(xí)在游戲和模擬中顯示出顯著成果。在過去的幾年中，強(qiáng)化學(xué)習(xí)已經(jīng)征服了許多以前認(rèn)為不能融入人工智能的游戲。人工智能程序已經(jīng)淘汰了《星際爭霸2》，《刀塔》和中國古代棋盤游戲《圍棋》中的人類世界冠軍。

但是這些AI程序?qū)W習(xí)解決問題的方式與人類完全不同?；旧?，強(qiáng)化學(xué)習(xí)代理從空白開始，僅提供在其環(huán)境中可以執(zhí)行的一組基本操作。然后，讓AI自己進(jìn)行嘗試，通過反復(fù)試驗來學(xué)習(xí)如何產(chǎn)生最大的回報（例如，贏得更多的游戲）。

當(dāng)問題空間很簡單并且你具有足夠的計算能力來運(yùn)行盡可能多的反復(fù)試驗時，該模型就可以使用。在大多數(shù)情況下，強(qiáng)化學(xué)習(xí)代理會花費(fèi)大量的時間來掌握游戲。巨大的成本將強(qiáng)化學(xué)習(xí)研究限制在富裕的科技公司或擁有資助的研究實驗室內(nèi)。

強(qiáng)化學(xué)習(xí)系統(tǒng)在遷移學(xué)習(xí)中表現(xiàn)得很差。一個在大師級玩星際爭霸2的機(jī)器人如果想玩魔獸爭霸3，需要從頭開始訓(xùn)練。事實上，即使星際爭霸游戲環(huán)境的微小變化也會極大地降低人工智能的性能。相比之下，人類非常擅長從一個游戲中提取抽象概念并將其轉(zhuǎn)移到另一個游戲中。

當(dāng)強(qiáng)化學(xué)習(xí)想要學(xué)習(xí)解決現(xiàn)實世界中無法精確模擬的問題時，它確實顯示出它的局限性。如果你想訓(xùn)練汽車自己駕駛呢？很難精確地模擬這一過程，如果我們想在現(xiàn)實生活中做到這一點，我們就必須摧毀許多汽車。而且與模擬環(huán)境不同，現(xiàn)實生活不允許你快速進(jìn)行實驗，如果可能的話，并行實驗將導(dǎo)致更大的成本。

深度學(xué)習(xí)的三個挑戰(zhàn)

LeCun將深度學(xué)習(xí)的挑戰(zhàn)分為三個領(lǐng)域。

首先，我們需要開發(fā)可以通過更少的樣本或更少的試驗學(xué)習(xí)的AI系統(tǒng)。LeCun說：“我的建議是使用無監(jiān)督學(xué)習(xí)，或者我更喜歡將其稱為自我監(jiān)督學(xué)習(xí)，因為我們使用的算法確實類似于監(jiān)督學(xué)習(xí)，它基本上是學(xué)習(xí)填補(bǔ)空白?！?。這是在學(xué)習(xí)任務(wù)之前學(xué)習(xí)代表世界的理念。嬰兒和動物就是這樣做的。我們在學(xué)習(xí)任何任務(wù)之前先了解世界如何運(yùn)轉(zhuǎn)。一旦我們對世界有了良好的描述，學(xué)習(xí)一項任務(wù)就需要很少的試驗和很少的樣本。

嬰兒在出生后的幾個月里就會發(fā)展出重力，尺寸和物體持續(xù)性的概念。雖然人們對這些能力中有多少是硬連接到大腦中的，有多少是學(xué)習(xí)到的還存在爭議，但可以肯定的是，我們僅僅通過觀察周圍的世界就發(fā)展出了許多能力。

第二個挑戰(zhàn)是創(chuàng)建可以推理的深度學(xué)習(xí)系統(tǒng)。眾所周知，當(dāng)前的深度學(xué)習(xí)系統(tǒng)在推理和抽象上很差，這就是為什么它們需要大量數(shù)據(jù)來學(xué)習(xí)簡單任務(wù)的原因。

問題是，我們?nèi)绾纬角梆佊嬎愫拖到y(tǒng)1？我們?nèi)绾问雇评砼c基于梯度的學(xué)習(xí)兼容？我們?nèi)绾问雇评砭哂胁町愋裕?/span>

系統(tǒng)1是不需要主動思考的學(xué)習(xí)任務(wù)，例如導(dǎo)航已知區(qū)域或進(jìn)行少量計算。系統(tǒng)2是一種較為活躍的思維方式，需要推理。事實證明，象征人工智能（AI的經(jīng)典方法）在推理和抽象方面要好得多。

但是LeCun并不建議像其他科學(xué)家所建議的那樣回到象征性AI或混合人工智能系統(tǒng)。他對人工智能未來的愿景與另一位深度學(xué)習(xí)先驅(qū)Yoshua Bengio更為一致，Yoshua Bengio在NeurIPS 2019引入了system 2深度學(xué)習(xí)的概念，并在AAAI 2020進(jìn)一步討論了這一概念。然而，LeCun承認(rèn)沒有人有一個完全正確的答案，但是這種方法會將使深度學(xué)習(xí)系統(tǒng)能夠推理。

第三個挑戰(zhàn)是創(chuàng)建深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以精簡和計劃復(fù)雜的操作序列，并將任務(wù)分解為子任務(wù)。深度學(xué)習(xí)系統(tǒng)擅長為問題提供端到端的解決方案，但很難將它們分解為具體的可解釋和可修改的步驟。在創(chuàng)建基于學(xué)習(xí)的人工智能系統(tǒng)方面已經(jīng)取得了一些進(jìn)展，該系統(tǒng)可以分解圖像、語音和文本。Geoffry Hinton發(fā)明的膠囊網(wǎng)絡(luò)就是其中之一并且解決了其中一些挑戰(zhàn)。

但是學(xué)會推理復(fù)雜的任務(wù)已經(jīng)超出了當(dāng)今的人工智能。LeCun承認(rèn)我們不知道如何做到這一點。

自我監(jiān)督學(xué)習(xí)

自我監(jiān)督學(xué)習(xí)背后的想法是開發(fā)一種可以學(xué)習(xí)填補(bǔ)空白的深度學(xué)習(xí)系統(tǒng)。

你向系統(tǒng)顯示輸入，文本，視頻甚至圖像，然后選擇其中的一部分，將其屏蔽，然后訓(xùn)練神經(jīng)網(wǎng)絡(luò)或您喜歡的類或模型來預(yù)測缺失的部分。這可能是視頻處理的未來，也可能是填補(bǔ)文本中缺少的單詞的方式。

我們最接近自我監(jiān)督學(xué)習(xí)系統(tǒng)的是Transformers，該體系結(jié)構(gòu)已在自然語言處理中被證明非常成功。Transformers不需要標(biāo)記的數(shù)據(jù)。他們接受過大量非結(jié)構(gòu)化文本的培訓(xùn)，例如Wikipedia文章。在生成文本，進(jìn)行對話和回答問題方面，他們已被證明比之前的系統(tǒng)要好得多，但是他們距離真正理解人類語言還有很遠(yuǎn)的距離。

Transformers已經(jīng)非常流行，并且是幾乎所有最新語言模型的基礎(chǔ)技術(shù)，包括Google的BERT，F(xiàn)acebook的RoBERTa，OpenAI的GPT2和Google的Meena聊天機(jī)器人。

最近，AI研究人員證明了Transformers可以執(zhí)行積分并求解微分方程，這是需要符號操縱的問題。這可能暗示著Transformers的發(fā)展可能使神經(jīng)網(wǎng)絡(luò)超越模式識別和統(tǒng)計近似任務(wù)。

到目前為止，Transformers已經(jīng)證明了在處理謹(jǐn)慎的數(shù)據(jù)（例如單詞和數(shù)學(xué)符號）方面的價值。訓(xùn)練這樣的系統(tǒng)很容易，雖然可能遺漏哪個單詞，存在一些不確定性，但是我們可以用整個字典中的巨大概率矢量來表示這種不確定性，所以這不是問題。

但是，Transformers的成功尚未轉(zhuǎn)移到視覺數(shù)據(jù)領(lǐng)域。事實證明，在圖像和視頻中表示不確定性和預(yù)測要比在文本中表示不確定性和預(yù)測要困難得多，因為它不是離散的。我們可以產(chǎn)生字典中所有單詞的分布，但我們不知道如何表示所有可能的視頻幀的分布。

對于每個視頻片段，都有無數(shù)可能的未來。這使得人工智能系統(tǒng)很難預(yù)測一個單一的結(jié)果，比如視頻中接下來的幾幀。神經(jīng)網(wǎng)絡(luò)最終會計算出可能結(jié)果的平均值，從而導(dǎo)致輸出模糊。

如果要將自我監(jiān)督的學(xué)習(xí)應(yīng)用于視頻等多種形式，這是我們必須解決的主要技術(shù)問題。

LeCun最喜歡的用于監(jiān)督學(xué)習(xí)的方法就是他所說的“基于能量的潛在變量模型”。關(guān)鍵思想是引入一個潛在變量Z，該變量Z計算變量X（視頻中的當(dāng)前幀）和預(yù)測Y（視頻的未來）之間的兼容性，并選擇具有最佳兼容性得分的結(jié)果。LeCun在演講中進(jìn)一步闡述了基于能量的模型和其他自我監(jiān)督學(xué)習(xí)方法。

深度學(xué)習(xí)的未來不受監(jiān)督

“我認(rèn)為自我監(jiān)督學(xué)習(xí)是未來。這將使我們的AI系統(tǒng)，深度學(xué)習(xí)系統(tǒng)更上一層樓，也許可以通過觀察來了解有關(guān)世界的足夠背景知識，從而可能出現(xiàn)某種常識。” LeCun在AAAI會議演講中說。

自我監(jiān)督學(xué)習(xí)的主要好處之一是AI輸出的信息量巨大。在強(qiáng)化學(xué)習(xí)中，訓(xùn)練AI系統(tǒng)是在標(biāo)量級別執(zhí)行的；該模型會收到一個數(shù)值作為對其行為的獎勵或懲罰。在監(jiān)督學(xué)習(xí)中，AI系統(tǒng)為每個輸入預(yù)測一個類別或數(shù)值。

在自我監(jiān)督學(xué)習(xí)中，輸出將改善為整個圖像或一組圖像。這是更多的信息。了解有關(guān)世界的相同知識，您需要的樣本更少。

我們?nèi)匀槐仨毰宄淮_定性問題是如何工作的，但是當(dāng)解決方案出現(xiàn)時，我們將解鎖AI未來的關(guān)鍵組成部分。

如果說人工智能是一塊蛋糕，那么自我監(jiān)督學(xué)習(xí)就是其中的主要內(nèi)容。人工智能的下一輪革命將不會受到監(jiān)督，也不會得到純粹的加強(qiáng)。

原文鏈接： https://bdtechtalks.com/2020/03/23/yann-lecun-self-supervised-learning/