前沿 | 當(dāng) AI 掌握「讀心術(shù)」：DeepMind AI 已經(jīng)學(xué)會(huì)相互理解

「心智理論」一直被認(rèn)為是人工智能無法掌握的能力，然而在 DeepMind 發(fā)表的論文《Machine Theory of Mind》中，研究人員提出了一種新型神經(jīng)網(wǎng)絡(luò) ToMnet，具備理解自己以及周圍智能體心理狀態(tài)的能力。該論文已被 ICML 2018 接收為 Oral 論文。近日，這一研究又引起了《Science》的注意。

有時(shí)候，我們會(huì)覺得 Siri 或 Alexa 等數(shù)字助理非常令人失望，因?yàn)樗鼈兏静欢覀內(nèi)祟悺Ｋ鼈冃枰c(diǎn)被心理學(xué)家稱為「心智理論」（theory of mind）的東西，搞清楚別人的信念和意圖。最近，計(jì)算機(jī)科學(xué)家開發(fā)出了一種新的 AI，這種 AI 可以探測(cè)到其他計(jì)算機(jī)的「想法」，并預(yù)測(cè)它們的行動(dòng)，這是機(jī)器之間以及機(jī)器與人之間靈活協(xié)作的第一步。

加州大學(xué)伯克利分校的發(fā)展心理學(xué)家 Alison Gopnik 表示，顯然，要探索一個(gè)充滿各種想法的世界，「掌握心智理論非常重要?！谷嗽诖蠹s 4 歲的時(shí)候會(huì)了解到，他人的信念可能與現(xiàn)實(shí)不符，然后根據(jù)這個(gè)人的信念推斷其接下來的行動(dòng)。當(dāng)前的計(jì)算機(jī)可以區(qū)分「開心」、「生氣」等面部表情，這是一種與「心智理論」相關(guān)的技能，但是它們對(duì)人類的情緒、動(dòng)機(jī)知之甚少。

這一新項(xiàng)目的初衷是嘗試讓人理解計(jì)算機(jī)。AI 使用的許多算法并不是完全由程序員完成的，而是依賴于機(jī)器在解決問題的過程中不斷「學(xué)習(xí)」。計(jì)算機(jī)生成的解決方案通常是黑箱，由于算法過于復(fù)雜，人類往往難以理解。因此，DeepMind 研究科學(xué)家 Neil Rabinowitz 和他的同事創(chuàng)建了一個(gè)名為「ToMnet」的心智理論 AI，并使其觀察其他 AI，看看它能否了解其他 AI 智能體的工作原理。

ToMnet 由三個(gè)神經(jīng)網(wǎng)絡(luò)組成，每個(gè)網(wǎng)絡(luò)包含一些小的計(jì)算單元和從經(jīng)驗(yàn)中學(xué)到的連接，與人類大腦類似。第一個(gè)網(wǎng)絡(luò)根據(jù)其他 AI 過去的行動(dòng)學(xué)習(xí)它們的傾向。第二個(gè)網(wǎng)絡(luò)理解其他 AI 的當(dāng)前「信念」；第三個(gè)網(wǎng)絡(luò)接收前兩個(gè)網(wǎng)絡(luò)的輸出，并根據(jù)情況推測(cè)其他 AI 的后續(xù)行動(dòng)。

研究中涉及的 AI 智能體是在虛擬房間中到處移動(dòng)收集彩色箱子以獲取得分的簡(jiǎn)單「角色」。ToMnet 從上方觀察整個(gè)房間。一次測(cè)試中有三種「角色」：一種看不到周圍環(huán)境，一種記不住最近的步伐，一種可以看到也可以記住?？床坏降闹悄荏w可能會(huì)沿著墻走，「失憶」智能體會(huì)移動(dòng)到離它最近的物體處，而第三種能夠構(gòu)建子目標(biāo)，以特定順序有策略地抓取物體，得到更多分。DeepMind 研究人員在本月于瑞典斯德哥爾摩舉辦的 ICML 大會(huì)上報(bào)告稱：經(jīng)過一番訓(xùn)練，ToMnet 不僅能夠在幾步之后識(shí)別「角色」的種類，還能夠準(zhǔn)確預(yù)測(cè)它們的未來行為。

最終測(cè)試證明，ToMnet 甚至可以理解持有錯(cuò)誤信念的「角色」，這是訓(xùn)練它們掌握心智理論（人類和其他動(dòng)物具備的心智理論）的關(guān)鍵階段。在該測(cè)試中，一種「角色」被編程設(shè)定為近視，那么當(dāng)計(jì)算機(jī)在游戲中途改變道路（超出上述「角色」的視力范圍）時(shí)，ToMnet 可以準(zhǔn)確預(yù)測(cè)到，近視的「角色」更可能堅(jiān)持原來的路徑，而視力好的「角色」則更傾向于調(diào)整路徑，適應(yīng)新的情況。

Gopnik 稱，該研究以及 ICML 會(huì)議上證明 AI 可以根據(jù)它們對(duì)自己的了解預(yù)測(cè)其他 AI 智能體行為的另一研究，都是神經(jīng)網(wǎng)絡(luò)「驚人」自主學(xué)習(xí)能力的例證。但是這仍然無法使人工智能體達(dá)到人類兒童的同等水平，Gopnik 說道，AI 智能體很可能以接近完美的準(zhǔn)確率完成錯(cuò)誤信念任務(wù)，即使它們之前從未遇到過。

MIT 心理學(xué)家、計(jì)算機(jī)科學(xué)家 Josh Tenenbaum 也研究心智理論的計(jì)算模型。他認(rèn)為 ToMnet 在推斷信念方面比他團(tuán)隊(duì)研發(fā)出的系統(tǒng)更高效，后者基于更抽象的概率推論，而不是神經(jīng)網(wǎng)絡(luò)。但是 ToMnet 的理解能力與訓(xùn)練所用語(yǔ)境相關(guān)性更強(qiáng)，因此它在全新環(huán)境中預(yù)測(cè)行為的能力欠佳，而 Josh Tenenbaum 的系統(tǒng)甚至兒童在這方面做得更好。Josh 稱，未來兩種方法結(jié)合或許會(huì)給該領(lǐng)域帶來「真正有趣的方向」。

Gopnik 注意到這種具備社交能力的計(jì)算機(jī)不僅將改善人機(jī)合作，還會(huì)影響到人機(jī)之間的相互「欺騙」。如果一臺(tái)計(jì)算機(jī)能夠理解錯(cuò)誤信念，那它就可能知道如何誘導(dǎo)人類相信它。希望未來的撲克機(jī)器人能夠掌握 bluff（使詐）的藝術(shù)。

論文：Machine Theory of Mind

論文鏈接：https://arxiv.org/abs/1802.07740

摘要：心智理論（ToM; Premack & Woodruff, 1978）廣義上指?jìng)€(gè)體有能力理解他人的心理狀態(tài)，包括期望、信念和意圖。我們提出對(duì)機(jī)器進(jìn)行訓(xùn)練，使之也具備這項(xiàng)能力。我們?cè)O(shè)計(jì)了一種心智理論神經(jīng)網(wǎng)絡(luò) ToMnet，它使用元學(xué)習(xí)通過觀察智能體的行為而對(duì)它們進(jìn)行建模。通過該過程，該網(wǎng)絡(luò)得到一個(gè)對(duì)智能體行為具備強(qiáng)大先驗(yàn)知識(shí)的模型，同時(shí)能夠利用少量行為觀測(cè)對(duì)智能體特征和心理狀態(tài)進(jìn)行更豐富的預(yù)測(cè)。我們將 ToMnet 應(yīng)用于在 gridworld 環(huán)境中采取行動(dòng)的智能體，結(jié)果表明該網(wǎng)絡(luò)學(xué)會(huì)對(duì)來自不同群體的智能體進(jìn)行建模，包括隨機(jī)、規(guī)則系統(tǒng)和深度強(qiáng)化學(xué)習(xí)智能體等，該網(wǎng)絡(luò)通過了經(jīng)典的 ToM 任務(wù)，如"Sally-Anne"測(cè)試，即意識(shí)到他人持有的錯(cuò)誤信念。我們認(rèn)為該系統(tǒng)（自動(dòng)學(xué)習(xí)如何對(duì)出現(xiàn)在其世界中的其他智能體進(jìn)行建模）是開發(fā)多智能體 AI 系統(tǒng)的重要步驟，可以幫助構(gòu)建人機(jī)交互的中介技術(shù)，推進(jìn)可解釋性 AI 的發(fā)展。