兩項(xiàng)分別由英國(guó)人工智能實(shí)驗(yàn)室DeepMind與由德國(guó)和希臘的研究人員進(jìn)行的研究顯示了AI與神經(jīng)網(wǎng)絡(luò)科學(xué)之間有著令人著迷的關(guān)系。

就像大多數(shù)科學(xué)家說(shuō)的那樣，我們距開發(fā)能夠像人類一樣有效地解決問(wèn)題的人工智能還差幾十年。在創(chuàng)造通用AI的道路上，人腦（可以說(shuō)是最復(fù)雜的自然創(chuàng)造）是我們掌握的最佳指南。

神經(jīng)科學(xué)對(duì)神經(jīng)系統(tǒng)的研究，為大腦如何工作提供了有趣的見解，大腦是開發(fā)更好的AI系統(tǒng)的關(guān)鍵組成部分。相應(yīng)地，更好的AI系統(tǒng)的開發(fā)可以幫助推動(dòng)神經(jīng)科學(xué)向前發(fā)展，并進(jìn)一步釋放大腦的秘密。

例如，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是人工智能最新進(jìn)展的關(guān)鍵貢獻(xiàn)者之一，它很大程度上受到視覺皮層神經(jīng)科學(xué)研究的啟發(fā)。另一方面，神經(jīng)科學(xué)家利用AI算法研究來(lái)自大腦的數(shù)百萬(wàn)個(gè)信號(hào)，并找出可能消失的模式。這兩個(gè)領(lǐng)域密切相關(guān)，它們的協(xié)同作用產(chǎn)生了非常有趣的結(jié)果。

神經(jīng)科學(xué)領(lǐng)域的最新發(fā)現(xiàn)表明，我們?cè)贏I方面正在做的正確的事情，以及我們做錯(cuò)了什么。

DeepMind的AI研究顯示多巴胺與強(qiáng)化學(xué)習(xí)之間的聯(lián)系

DeepMind的研究人員最近進(jìn)行的一項(xiàng)研究證明，人工智能研究（至少是其中的一部分）正朝著正確的方向發(fā)展。

感謝神經(jīng)科學(xué)，我們知道人類和動(dòng)物學(xué)習(xí)的基本機(jī)制之一就是獎(jiǎng)懲。積極的結(jié)果會(huì)鼓勵(lì)我們重復(fù)某些任務(wù)（做運(yùn)動(dòng)，學(xué)習(xí)考試等），而消極的結(jié)果會(huì)阻止我們重復(fù)犯錯(cuò)（觸摸火爐）。

俄羅斯生理學(xué)家伊凡·帕夫洛夫（Ivan Pavlov）的實(shí)驗(yàn)最為人所知，這種獎(jiǎng)罰機(jī)制是訓(xùn)練狗在聽到鈴鐺時(shí)會(huì)期待食物。我們還知道，多巴胺是中腦產(chǎn)生的一種神經(jīng)遞質(zhì)，在調(diào)節(jié)大腦的獎(jiǎng)勵(lì)功能中起著重要作用。

強(qiáng)化學(xué)習(xí)(RL)是人工智能研究中最熱門的領(lǐng)域之一，它是根據(jù)大腦的獎(jiǎng)賞/懲罰機(jī)制而大致形成的。在RL中，設(shè)置了AI代理來(lái)探索問(wèn)題空間并嘗試不同的操作。對(duì)于其執(zhí)行的每個(gè)動(dòng)作，代理都會(huì)收到數(shù)字獎(jiǎng)勵(lì)或懲罰。通過(guò)大量的試驗(yàn)和錯(cuò)誤，并檢查其操作的結(jié)果，AI代理開發(fā)了一種數(shù)學(xué)模型，該模型經(jīng)過(guò)了優(yōu)化，可以最大程度地提高獎(jiǎng)勵(lì)并避免懲罰。

最近，AI研究人員一直致力于分布增強(qiáng)學(xué)習(xí)以創(chuàng)建更好的模型。分布式RL的基本思想是使用多種因素以一系列樂(lè)觀和悲觀的方式預(yù)測(cè)獎(jiǎng)懲。分布強(qiáng)化學(xué)習(xí)對(duì)于創(chuàng)建對(duì)環(huán)境變化更具彈性的AI代理至關(guān)重要。

這項(xiàng)新的研究是由哈佛大學(xué)和DeepMind共同完成的，并于上周在《自然》雜志 上發(fā)表。該研究發(fā)現(xiàn)，小鼠大腦的特性與分布強(qiáng)化學(xué)習(xí)的特性非常相似。AI研究人員測(cè)量了大腦中的多巴胺激發(fā)率，以檢查生物神經(jīng)元的獎(jiǎng)勵(lì)預(yù)測(cè)率的差異。

有趣的是，在小鼠的神經(jīng)系統(tǒng)中發(fā)現(xiàn)了AI科學(xué)家在分布式強(qiáng)化學(xué)習(xí)模型中編程的樂(lè)觀和悲觀機(jī)制。DeepMind的研究人員在AI實(shí)驗(yàn)室網(wǎng)站上發(fā)布的博客文章中寫道：“總而言之，我們發(fā)現(xiàn)大腦中的多巴胺神經(jīng)元每個(gè)都被調(diào)到了不同的悲觀或樂(lè)觀水平。“在人工強(qiáng)化學(xué)習(xí)系統(tǒng)中，這種多樣化的調(diào)整會(huì)產(chǎn)生更豐富的訓(xùn)練信號(hào)，從而極大地加快了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，我們推測(cè)大腦可能出于相同的原因使用它。”

使這項(xiàng)發(fā)現(xiàn)與眾不同的是，盡管AI研究通常從神經(jīng)科學(xué)發(fā)現(xiàn)中汲取靈感，但在這種情況下，神經(jīng)科學(xué)研究已經(jīng)驗(yàn)證了AI發(fā)現(xiàn)。研究人員寫道：“它使我們對(duì)AI研究走上正軌的信心增強(qiáng)，因?yàn)樵撍惴ㄒ驯晃覀兯赖淖钪悄艿膶?shí)體：大腦使用?！?

這也將為神經(jīng)科學(xué)的進(jìn)一步研究打下基礎(chǔ)，這反過(guò)來(lái)將有利于AI領(lǐng)域發(fā)展。

神經(jīng)元并不像我們想象的那樣愚蠢

盡管DeepMind的新發(fā)現(xiàn)證實(shí)了AI強(qiáng)化學(xué)習(xí)研究的成果，但柏林科學(xué)家的另一項(xiàng)研究卻于1月初發(fā)表在《科學(xué)》雜志上，這證明我們對(duì)大腦所做的一些基本假設(shè)是完全錯(cuò)誤的。

關(guān)于大腦結(jié)構(gòu)的普遍信念是，神經(jīng)元是神經(jīng)系統(tǒng)的基本組成部分，它們是簡(jiǎn)單的積分器，用于計(jì)算其輸入的加權(quán)總和。基于這種理念，設(shè)計(jì)了一種流行的機(jī)器學(xué)習(xí)算法類型：人工神經(jīng)網(wǎng)絡(luò)。

單獨(dú)地，人工神經(jīng)元執(zhí)行非常簡(jiǎn)單的操作。它需要幾個(gè)輸入，將它們乘以預(yù)定義的權(quán)重，求和后再通過(guò)激活函數(shù)運(yùn)行它們。但是，當(dāng)多層連接成千上萬(wàn)（十億）個(gè)人工神經(jīng)元時(shí)，您將獲得一個(gè)非常靈活的數(shù)學(xué)函數(shù)，可以解決復(fù)雜的問(wèn)題，例如檢測(cè)圖像中的對(duì)象或記錄語(yǔ)音。

人工神經(jīng)元的多層網(wǎng)絡(luò)（通常稱為深度神經(jīng)網(wǎng)絡(luò)）是過(guò)去十年中深度學(xué)習(xí)革命背后的主要?jiǎng)恿Α?

但是，對(duì)生物神經(jīng)元是基本數(shù)學(xué)的“愚蠢”計(jì)算器的普遍認(rèn)識(shí)過(guò)于簡(jiǎn)單。德國(guó)研究人員的最新發(fā)現(xiàn)后來(lái)被希臘的神經(jīng)科學(xué)家證實(shí)，證明了單個(gè)神經(jīng)元可以執(zhí)行XOR運(yùn)算，這一前提遭到了AI先驅(qū)者如Marvin Minsky和Seymour Papert的拒絕。

盡管并非所有神經(jīng)元都具有這種能力，但這一發(fā)現(xiàn)的意義是重大的。例如，這可能意味著單個(gè)神經(jīng)元可能在其內(nèi)部包含一個(gè)深層網(wǎng)絡(luò)。賓夕法尼亞大學(xué)的計(jì)算神經(jīng)科學(xué)家康拉德·科爾?。↘onrad Kording）并未參與這項(xiàng)研究，他對(duì)《廣達(dá)雜志》（Quanta Magazine）表示，這一發(fā)現(xiàn)可能意味著“單個(gè)神經(jīng)元可能能夠計(jì)算出真正復(fù)雜的功能。例如，它本身可能就能識(shí)別出一個(gè)物體?！?

這對(duì)人工智能研究意味著什么？至少，這意味著我們需要重新考慮我們對(duì)神經(jīng)元的建模。它可能會(huì)刺激對(duì)具有不同類型神經(jīng)元的新型人工神經(jīng)元結(jié)構(gòu)和網(wǎng)絡(luò)的研究。也許它可以幫助我們擺脫必須構(gòu)建超大型神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)集來(lái)解決非常簡(jiǎn)單的問(wèn)題的陷阱。

外語(yǔ)原文鏈接： https://bdtechtalks.com/2020/01/20/neuroscience-artificial-intelligence-synergies/