《人類兼容：人工智能與控制問題》

作者 | Stuart Russell

編譯 | CDA數(shù)據(jù)分析師

原文 | Full Page Reload

人工智能研究正在朝著人類或超人類智能機(jī)器的長期目標(biāo)邁進(jìn)。但是，如果它以目前的形式成功，那將很可能給人類帶來災(zāi)難性的后果。原因是AI的“標(biāo)準(zhǔn)模型”要求機(jī)器遵循人類指定的固定目標(biāo)。我們無法完全正確地指定目標(biāo)，也無法預(yù)測或防止追求錯誤目標(biāo)的機(jī)器在具有超人能力的全球規(guī)模上運(yùn)行時所造成的危害。我們已經(jīng)看到了諸如社交媒體算法之類的示例，這些示例學(xué)會了通過操縱人類的偏好來優(yōu)化點(diǎn)擊率，從而給民主制度帶來災(zāi)難性的后果。

尼克·博斯特倫（Nick Bostrom）在2014年出版的《超級情報：道路，危險，策略》 一書中詳細(xì)介紹了認(rèn)真對待這一風(fēng)險的案例。在大多數(shù)人認(rèn)為英國輕描淡寫的經(jīng)典例子中，《經(jīng)濟(jì)學(xué)人》雜志對博斯特羅姆的書進(jìn)行了評論，其結(jié)尾是：“將第二種智能物種引入地球的意義深遠(yuǎn)，值得深思?！背鲇诔壷悄軐嶓w已經(jīng)考慮過這種可能性 并采取措施阻止這種可能性的簡單原因，無法關(guān)閉機(jī)器 。

當(dāng)然，在這么多的事情發(fā)生的今天，當(dāng)今的偉大思想家已經(jīng)在做這個艱難的思考-進(jìn)行認(rèn)真的辯論，權(quán)衡風(fēng)險和收益，尋求解決方案，找出解決方案中的漏洞，等等。據(jù)我所知，還沒有。取而代之的是，人們付出了很大的努力進(jìn)行各種形式的否認(rèn)。

一些著名的AI研究人員訴諸了幾乎不值得反駁的論點(diǎn)。以下是我在文章中閱讀或在會議上聽過的數(shù)十篇文章中的一部分：

• 電子計算器在算術(shù)上是超人的。計算器并沒有接管整個世界。因此，沒有理由擔(dān)心超人AI。
• 從歷史上看，有零例機(jī)器殺死了數(shù)百萬人，因此，通過歸納法，它不可能在未來發(fā)生。
• 宇宙中沒有任何物理量是無限的，其中包括智力，因此對超智能的擔(dān)憂被夸大了。

也許在AI研究人員中，最常見的回答是說“我們總是可以將其關(guān)閉。” Alan Turing自己提出了這種可能性，盡管他對此并不抱太大信心：

如果機(jī)器可以思考，它可能會比我們更聰明地思考，那么我們應(yīng)該在哪里呢？即使我們可以例如通過在關(guān)鍵時刻關(guān)閉電源來將機(jī)器保持在從動的位置，作為一個物種，我們也應(yīng)該感到非常謙卑。……這種新的危險……當(dāng)然可以使我們焦慮。

出于超級智能實體已經(jīng)考慮過這種可能性并采取措施阻止這種可能性的簡單原因，無法關(guān)閉機(jī)器。這樣做不是因為它“想活著”，而是因為它正在追求我們給它的任何目標(biāo)，并且知道關(guān)閉它會失敗。我們僅通過將石頭放在正確的方塊上就可以擊敗AlphaGo（世界冠軍的Go播放程序），這是再也不能“關(guān)閉”了。

其他拒絕形式也吸引了更復(fù)雜的想法，例如，智力是多方面的。例如，一個人可能比另一個人具有更多的空間智能，而社會智能卻較少，因此我們不能按照嚴(yán)格的智力順序排列所有人。對于機(jī)器來說更是如此：將AlphaGo的“智能”與Google搜索引擎的“智能”進(jìn)行比較是毫無意義的。

《連線》雜志的創(chuàng)始編輯，技術(shù)敏銳的評論員凱文·凱利將這一論點(diǎn)再進(jìn)一步了。他在“ 超人AI的神話”一書中寫道：“智能不是一個單一的維度，因此“比人類聰明”是毫無意義的概念?！币豢跉饩拖藢Τ悄艿乃嘘P(guān)注。

現(xiàn)在，一個明顯的反應(yīng)是，機(jī)器在智能的所有相關(guān)方面都可能超出人類的能力。在那種情況下，即使按照凱利的嚴(yán)格標(biāo)準(zhǔn)，這臺機(jī)器也比人類更智能。但是，這種強(qiáng)有力的假設(shè)并不一定要反駁凱利的論點(diǎn)?？梢钥匆豢春谛尚伞：谛尚煽赡芫哂斜热祟惛玫亩唐谟洃浤芰?，即使在以人為導(dǎo)向的任務(wù)（如回想數(shù)字序列）上也是如此。短期記憶是智力的重要方面。按照凱利的說法，人類并不比黑猩猩聰明。實際上，他會宣稱“比黑猩猩更聰明”是沒有意義的概念。這對黑猩猩和其他幸存下來的物種來說是冷的安慰，它們只是因為我們愿意允許這樣做，而對于所有我們已經(jīng)消滅的物種而言。對于可能擔(dān)心被機(jī)器擦掉的人來說，這也是一種冰冷的安慰。

也可以通過爭論無法實現(xiàn)超級智能來消除超級智能的風(fēng)險。這些說法并不新鮮，但是現(xiàn)在令人驚訝的是，看到AI研究人員自己聲稱這種AI是不可能的。例如，來自AI100組織的一份主要報告“ 2030年的人工智能與生命 [PDF]”包括以下主張：“與電影不同，沒有超人機(jī)器人在眼前出現(xiàn)種族競賽，甚至可能沒有?！?/span>

據(jù)我所知，這是嚴(yán)肅的AI研究人員首次公開信奉人類或超人AI是不可能的觀點(diǎn)，而這是在AI研究飛速發(fā)展的階段，當(dāng)障礙不斷違反。好像一群領(lǐng)先的癌癥生物學(xué)家宣布他們一直在欺騙我們：他們一直都知道永遠(yuǎn)不會治愈癌癥。

是什么原因促成這樣的面孔？該報告不提供任何論據(jù)或證據(jù)。（實際上，有什么證據(jù)可以證明，在物理上沒有可能存在的原子排列優(yōu)于人類的大腦？）我懷疑主要原因是部族主義-本能使貨車?yán)@過AI的“攻擊”。然而，將超級智能AI可能作為對AI的攻擊這一說法似乎很奇怪，甚至說AI永遠(yuǎn)不會成功實現(xiàn)其目標(biāo)，捍衛(wèi)AI則顯得更為奇怪。我們不能僅僅依靠人類的創(chuàng)造力來確保未來的災(zāi)難。

如果不是不是絕對不可能的超人AI，那么擔(dān)心就太遙遠(yuǎn)了嗎？這是吳安德（Andrew Ng）斷言的要旨，即擔(dān)心“火星上的人口過多 ”。不幸的是，長期風(fēng)險仍然可能立即引起人們的關(guān)注。擔(dān)心人類潛在的嚴(yán)重問題的合適時間不僅取決于問題何時發(fā)生，還取決于準(zhǔn)備和實施解決方案需要多長時間。例如，如果我們要在2069年檢測到正在與地球碰撞的大型小行星，我們是否要等到2068年才開始研究解決方案？離得很遠(yuǎn)！將有一個全球緊急項目來開發(fā)應(yīng)對威脅的方法，因為我們無法提前說出需要多少時間。

Ng的論點(diǎn)也吸引了人們的直覺，即我們極不可能首先嘗試將數(shù)十億人類移居火星。但是，這個比喻是錯誤的。我們已經(jīng)在投入大量的科學(xué)和技術(shù)資源來創(chuàng)建功能更強(qiáng)大的AI系統(tǒng)，而很少考慮如果成功了會發(fā)生什么。因此，更恰當(dāng)?shù)念惐仁菍⑷祟愡w移到火星的計劃，而不考慮到達(dá)后我們可能會呼吸，喝水或吃些什么。有些人可能將此計劃稱為不明智的。

避免潛在問題的另一種方法是斷言對風(fēng)險的擔(dān)憂是由無知引起的。例如，以下是艾倫（Allen）AI學(xué)院的首席執(zhí)行官Oren Etzioni，指責(zé)埃隆·馬斯克（Elon Musk）和斯蒂芬·霍金（Stephen Hawking）涉嫌Luddism，因為他們呼吁人們認(rèn)識到AI可能構(gòu)成的威脅：

在每一項技術(shù)創(chuàng)新的興起中，人們都感到恐懼。從織布工在工業(yè)時代開始時在機(jī)械織機(jī)中扔鞋到今天對殺手機(jī)器人的恐懼，我們的反應(yīng)是不知道新技術(shù)將對我們的自我意識和生計產(chǎn)生什么影響。而當(dāng)我們不知道時，我們恐懼的思想充斥著細(xì)節(jié)。

即使我們以表面價值來接受這種經(jīng)典的ad hominem論點(diǎn)，也無法成立。霍金對科學(xué)推理并不陌生，馬斯克監(jiān)督并投資了許多人工智能研究項目。認(rèn)為比爾·蓋茨，IJ·古德，馬文·明斯基，艾倫·圖靈和諾伯特·維納，都引起了人們的關(guān)注，沒有資格討論人工智能，這似乎更沒有道理。對Luddism的指控也完全是錯誤的。當(dāng)他們指出控制裂變反應(yīng)的必要性時，就好像是要指責(zé)核工程師。該指控的另一種說法是聲稱提及風(fēng)險意味著否認(rèn)人工智能的潛在利益。例如，Oren Etzioni曾提出：

厄運(yùn)和悲觀的預(yù)測通常無法考慮AI在預(yù)防醫(yī)療錯誤，減少交通事故等方面的潛在優(yōu)勢。

而這里是馬克·扎克伯格的Facebook的CEO，在與伊隆·馬斯克最近的媒體推波助瀾交流：

如果您在反對AI，那么您在爭論不會發(fā)生事故的更安全的汽車。而且您正在爭論不能在人們生病時更好地對其進(jìn)行診斷。

有人提到風(fēng)險是“反對AI”的說法似乎很奇怪。（核安全工程師“反對電力”嗎？）但更重要的是，整個論點(diǎn)恰恰是倒退的，原因有兩個。首先，如果沒有潛在的利益，就不會有推動人工智能研究的動力，也不會有實現(xiàn)人類水平的人工智能的危險。我們根本不會進(jìn)行任何討論。其次，如果不能成功地減輕風(fēng)險，將沒有任何好處。

由于1979年三英里島，1986年切爾諾貝利和2011年福島島的災(zāi)難性事件，核電的潛在利益已大大降低。這些災(zāi)難嚴(yán)重限制了核工業(yè)的發(fā)展。意大利在1990年放棄了核電，比利時，德國，西班牙和瑞士已經(jīng)宣布了這樣做的計劃。從1991年到2010年，每年的凈新增產(chǎn)能大約是切爾諾貝利之前的那一年的十分之一。

奇怪的是，鑒于這些事件，著名的認(rèn)知科學(xué)家史蒂芬·平克（Steven Pinker）認(rèn)為 [PDF]不宜引起人們對AI風(fēng)險的關(guān)注，因為“先進(jìn)社會的安全文化”將確保AI的所有嚴(yán)重風(fēng)險都將被淘汰。即使我們無視我們先進(jìn)的安全文化導(dǎo)致切爾諾貝利，福島和全球變暖失控的事實，平克的論點(diǎn)也完全沒有意義。安全文化（在可行時）正好由人們指出可能的故障模式并尋找預(yù)防方法來組成。對于AI，標(biāo)準(zhǔn)模型是故障模式。

Pinker還指出，有問題的AI行為是由提出特定類型的目標(biāo)引起的。如果排除這些，一切都會好起來的：

AI反烏托邦將狹par的阿爾法男性心理投射到智力的概念上。他們認(rèn)為超人類智能機(jī)器人會制定出一些目標(biāo)，例如拋棄主人或接管世界。

深度學(xué)習(xí)的先驅(qū)，F(xiàn)acebook的AI研究總監(jiān)Yann LeCun 在淡化AI的風(fēng)險時經(jīng)常引用相同的想法：

認(rèn)可機(jī)構(gòu)沒有理由具有自我保護(hù)的本能，嫉妒等?！俏覀儗⑦@些情感融入其中，否則認(rèn)可機(jī)構(gòu)將不會具有這些破壞性的“情感”。

不幸的是，無論我們建立在“情感”還是“欲望”中，例如自我保護(hù)，資源獲取，知識發(fā)現(xiàn)，或者在極端情況下占領(lǐng)世界，都沒有關(guān)系。無論如何，機(jī)器都會產(chǎn)生這些情感，就像我們建立的任何目標(biāo)的子目標(biāo)一樣，而不論其性別如何。正如我們在“只需要關(guān)閉電源”的說法中所看到的那樣，對于一臺機(jī)器而言，死亡本身并不壞。盡管如此，還是要避免死亡，因為如果你死了，就很難實現(xiàn)目標(biāo)。

“避免設(shè)定目標(biāo)”概念的一個常見變體是這樣一個概念，即一個足夠智能的系統(tǒng)由于其智能必定會自行制定“正確的”目標(biāo)。18世紀(jì)的哲學(xué)家戴維·休David（David Hume）在《人性論》中駁斥了這一思想。尼克·博斯特羅姆，在超級智能，提出了休謨的作為位置的正交性論文：

智力和最終目標(biāo)是正交的：原則上，任何水平的智力或多或少都可以與任何最終目標(biāo)結(jié)合。

例如，可以為自動駕駛汽車指定任何特定地址作為目的地；例如，使汽車成為更好的駕駛者并不意味著它將自發(fā)地開始拒絕去被17整除的地址。出于同樣的原因，不難想象可以為通用智能系統(tǒng)提供或多或少的追求目標(biāo)，包括最大化回形針的數(shù)量或pi的已知數(shù)字的數(shù)量。這就是強(qiáng)化學(xué)習(xí)系統(tǒng)和其他種類的獎勵優(yōu)化器的工作方式：算法完全通用，可以接受任何獎勵信號。對于在標(biāo)準(zhǔn)模型內(nèi)運(yùn)行的工程師和計算機(jī)科學(xué)家而言，正交性理論只是一個定論。

對Bostrom正交性論的最明確的批評來自著名的機(jī)器人學(xué)家Rodney Brooks，他斷言，程序“足夠聰明以至于無法發(fā)明出顛覆人類社會以實現(xiàn)人類為其設(shè)定的目標(biāo)的方法，卻不了解它對那些相同的人造成問題的方式。”那些認(rèn)為風(fēng)險可以忽略不計的人未能解釋為什么超智能AI必然會受到人類控制。

不幸的是，程序不僅可能表現(xiàn)出這樣的行為；實際上，考慮到布魯克斯定義問題的方式，這是不可避免的。Brooks認(rèn)為，機(jī)器“達(dá)到人類設(shè)定的目標(biāo)”的最佳計劃正在給人類帶來麻煩。由此可見，這些問題反映了對人類有價值的事物，而人類為之設(shè)定的目標(biāo)卻忽略了這些問題。機(jī)器執(zhí)行的最佳計劃很可能會給人類帶來麻煩，并且機(jī)器可能會意識到這一點(diǎn)。但是，按照定義，機(jī)器不會將這些問題視為有問題的。它們與它無關(guān)。

總而言之，“懷疑論者”（那些認(rèn)為來自AI的風(fēng)險可以忽略不計的人）未能解釋為什么超級智能AI系統(tǒng)必定會受到人類控制。他們甚至都沒有試圖解釋為什么永遠(yuǎn)不會開發(fā)超智能AI系統(tǒng)。

AI社區(qū)必須繼續(xù)承擔(dān)風(fēng)險并努力減輕風(fēng)險，而不是繼續(xù)淪落為部落的名字召喚和不法論據(jù)的反復(fù)發(fā)掘。就我們所了解的風(fēng)險而言，這些風(fēng)險既非微不足道，也非不可克服。第一步是認(rèn)識到必須替換標(biāo)準(zhǔn)模型（優(yōu)化固定目標(biāo)的AI系統(tǒng)）。這簡直是糟糕的工程。我們需要做大量的工作來重塑和重建AI的基礎(chǔ)。

關(guān)于作者

計算機(jī)科學(xué)家Stuart Russell在加利福尼亞大學(xué)伯克利分校創(chuàng)立并指導(dǎo)了人類兼容人工智能中心。本月，Viking Press將出版Russell的新書《人類兼容：人工智能與控制問題》，本文以此為依據(jù)。他還積極參與反對自動武器的運(yùn)動，并策動制作了備受矚目的2017年視頻《屠殺機(jī)器人》。