為什么未來可能是我們最糟糕的噩夢(mèng)

我想要了解人工智能的原因之一是“壞機(jī)器人”的主題總是讓我感到困惑。關(guān)于邪惡機(jī)器人的所有電影看起來都是不切實(shí)際的，我無法真正理解人工智能實(shí)際上是多么危險(xiǎn)的現(xiàn)實(shí)情況。機(jī)器人是由我們制造的，那么為什么我們會(huì)以某種消極的方式設(shè)計(jì)它們呢？我們不會(huì)建立足夠的保障措施嗎？難道我們不能隨時(shí)切斷人工智能系統(tǒng)的電源并將其關(guān)閉嗎？為什么機(jī)器人想要做壞事呢？為什么機(jī)器人首先會(huì)“想要” 任何東西？我非常懷疑。但后來我一直聽到非常聰明的人在談?wù)撍?.......

那些人往往在這里的某個(gè)地方：

Anxious Avenue上的人們不在Panicked Prairie或Hopeless Hills--這兩個(gè)地區(qū)都是圖表最左邊的區(qū)域- 但他們很緊張。作為一個(gè)在圖表中間并不意味著你認(rèn)為ASI的到來將是中性-中性粒子給予他們的陣營(yíng)自有它的意味，它意味著著你認(rèn)為這兩個(gè)非常好的和極壞的結(jié)果是合理的，但“你”還不確定它們中的哪一個(gè)會(huì)出現(xiàn)。

所有的這些都隊(duì)人工超級(jí)智能能為我們做什么而感到興奮，只是他們有點(diǎn)擔(dān)心這可能是《奪寶奇兵》的開始，而人類就是這樣的人：

他站在那里，對(duì)他的鞭子和他手中的物品都很滿意，因?yàn)樗呀?jīng)想走了，當(dāng)他說“再見，先生”這句話的時(shí)候，他為自己感到非常興奮，然后他不那么激動(dòng)了，因?yàn)槭虑橥蝗话l(fā)生了。

與此同時(shí)，Indiana Jones，他更謹(jǐn)慎和有知識(shí)，了解危險(xiǎn)以及如何在他們周圍航行，使其安全地離開洞穴。當(dāng)我聽到Anxious Avenue上的人們對(duì)人工智能有什么看法時(shí)，通常聽起來他們會(huì)說，“嗯，我們現(xiàn)在是第一個(gè)人，而我們應(yīng)該努力成為印第安納瓊斯。 ”

那究竟是什么讓Anxious Avenue上的每個(gè)人都如此焦慮？

首先，從廣義上講，當(dāng)涉及到開發(fā)超級(jí)智能AI時(shí)，我們正在創(chuàng)造一些可能會(huì)改變一切的東西，但是在完全未知的領(lǐng)域，我們不知道當(dāng)我們到達(dá)那里會(huì)發(fā)生什么。科學(xué)家Danny Hillis將目前的情況與“單細(xì)胞生物轉(zhuǎn)變?yōu)槎嗉?xì)胞生物”進(jìn)行了比較。我們是阿米巴原蟲，我們無法弄清楚我們正在制造什么東西到底是什么。“ Nick Bostrom擔(dān)心創(chuàng)造比你更聰明的東西是一個(gè)基本的達(dá)爾文錯(cuò)誤，并將它的興奮的麻雀要在巢中的領(lǐng)養(yǎng)一個(gè)嬰兒貓頭鷹，這樣一旦它長(zhǎng)大就會(huì)幫助它們并保護(hù)它們 - 同時(shí)忽略了一些麻雀的緊急呼喊，這些麻雀想知道這是不是一個(gè)好主意。。。。。。

當(dāng)你將“未知的，未被充分理解的領(lǐng)域”與“當(dāng)它發(fā)生時(shí)應(yīng)該產(chǎn)生重大影響”結(jié)合起來時(shí)，你打開了英語(yǔ)中最可怕的兩個(gè)詞的大門：

Existential risk。（存在風(fēng)險(xiǎn)）

存在風(fēng)險(xiǎn)可能對(duì)人類產(chǎn)生永久性的破壞性影響。通常，存在風(fēng)險(xiǎn)意味著滅絕?？纯催@張來自從Bostrom 的Google演講中的圖表：

你可以看到，“存在風(fēng)險(xiǎn)”這個(gè)標(biāo)簽是為跨越物種，跨越世代的事務(wù)保留的（即它是永久性的），并且它的后果是毀滅性的或死亡性的。從技術(shù)上講，這種情況包括所有人永遠(yuǎn)處于痛苦或折磨的狀態(tài)，但同樣，我們通常都在談?wù)摐缃^。有三件事可以導(dǎo)致人類的生存災(zāi)難：

1）大自然 - 一次巨大的小行星碰撞，一個(gè)大氣層的變化，使空氣不適合人類，致命的病毒或細(xì)菌病掃蕩世界，等等。

2）外星人 - 這就是斯蒂芬霍金，卡爾薩根和許多其他天文學(xué)家在建議METI停止播放輸出信號(hào)時(shí)所害怕的。他們不希望我們成為美洲原住民，讓所有潛在的歐洲征服者都知道我們?cè)谶@里。

3）人類 -恐怖分子雙手握著可能導(dǎo)致滅絕的武器上，這是一場(chǎng)災(zāi)難性的全球戰(zhàn)爭(zhēng)，人類在不仔細(xì)考慮的情況下匆匆創(chuàng)造出比自己更聰明的東西。。。。。。

Bostrom指出，如果1號(hào)和2號(hào)在我們作為一個(gè)物種的第一個(gè)10萬年中沒有消滅我們，那么它也不太可能在下個(gè)世紀(jì)發(fā)生。

然而，3號(hào)嚇壞了他。他畫了一個(gè)甕的比喻，里面有一堆彈珠。假設(shè)大多數(shù)彈珠是白色的，較少的是紅色的，少數(shù)是黑色的。每次人類發(fā)明新事物時(shí)，就像把彈珠從甕中拉出來一樣。大多數(shù)發(fā)明都是中立的或?qū)θ祟愑袔椭?- 那些是白色彈珠。有些對(duì)人類有害，如大規(guī)模殺傷性武器，但它們不會(huì)造成存在性的災(zāi)難 - 紅色大理石。如果我們?cè)?jīng)發(fā)明了一些讓我們滅絕的東西，那就是拿出的黑色大理石。我們還沒有拉出黑色大理石 - 因?yàn)槟氵€活著并且正在閱讀這篇文章。但博斯特羅姆并不認(rèn)為我們不可能在不久的將來推出一個(gè)。例如，如果核武器很容易制造而不是極其困難和復(fù)雜，恐怖分子早就會(huì)將人類轟炸回石器時(shí)代。核武器不是黑色彈珠，但它們離它也不遠(yuǎn)。Bostrom認(rèn)為，ASI是我們最強(qiáng)大的黑色彈珠候選人。

所以，你會(huì)聽到很多不好的事情-隨著人工智能搶走越來越多的工作，失業(yè)率飆升，如果我們不設(shè)法解決老齡化問題，人類人口將會(huì)激增，等等。但是我們唯一應(yīng)該關(guān)注的是一個(gè)大問題：存在風(fēng)險(xiǎn)的前景。

因此，這讓我們回到了帖子前面的關(guān)鍵問題：當(dāng)ASI到來時(shí)，誰(shuí)將控制這個(gè)巨大的新力量，他們的動(dòng)機(jī)是什么？

當(dāng)涉及到控制動(dòng)機(jī)組合會(huì)很糟糕的時(shí)候，人們很快就會(huì)想到兩個(gè)：一個(gè)惡意的人/一群人/政府，以及一個(gè)惡意的ASI。那么那些看起來像什么樣子？

一個(gè)惡意的人類，一群人或政府開發(fā)了第一個(gè)ASI并用它來執(zhí)行他們的邪惡計(jì)劃。我稱之為Jafar Scenario，就像Jafar得到了精靈的一部分，并且對(duì)它來說都是令人討厭和暴虐的。所以，是的 - 如果伊斯蘭國(guó)有一些天才工程師在人工智能開發(fā)上狂熱地進(jìn)行開發(fā)呢？或者，如果伊朗或朝鮮通過運(yùn)氣，對(duì)人工智能系統(tǒng)進(jìn)行關(guān)鍵調(diào)整，并在明年向上升至ASI級(jí)別，該怎么辦？這肯定是壞事 - 但在這些情況下，大多數(shù)專家并不擔(dān)心ASI的人類創(chuàng)造者用他們的ASI做壞事，他們擔(dān)心制造者會(huì)匆忙的創(chuàng)建第一個(gè)ASI，而沒有經(jīng)過仔細(xì)考慮，因此會(huì)失去對(duì)它的控制。然后，那些創(chuàng)造者的命運(yùn)，以及其他所有人的命運(yùn)，將取決于ASI系統(tǒng)的動(dòng)機(jī)是什么。專家確實(shí)認(rèn)為惡意的人類代理可以通過ASI為其工作而造成可怕的損害，但他們似乎并不認(rèn)為這種情況可能會(huì)殺死我們所有人，因?yàn)樗麄冋J(rèn)為壞人類創(chuàng)建ASI會(huì)有的問題好人類也會(huì)有。然后呢-

創(chuàng)建惡意ASI并決定摧毀我們所有人。這是每部AI電影的情節(jié)。AI變得比人類更聰明，然后決定反對(duì)我們并接管這個(gè)世界。以下是我需要你清楚地了解這篇文章的其余內(nèi)容：沒有人警告我們關(guān)于人工智能正在談?wù)撨@個(gè)問題。邪惡是一種人類概念，將人類概念應(yīng)用于非人類事物被稱為“擬人化”。避免擬人化的挑戰(zhàn)將成為本文其余部分的主題之一。沒有那個(gè)人工智能系統(tǒng)會(huì)像電影描述的那樣變的邪惡。

• AI意識(shí)盒子
• 他還觸及了另一個(gè)與人工智能意識(shí)相關(guān)的大話題。如果人工智能變得足夠聰明，它就能和我們一起笑，和我們一起諷刺，它會(huì)聲稱自己和我們會(huì)感受到同樣的情感，但它實(shí)際上會(huì)感受到那些東西嗎？它只是看起來有自我意識(shí)或?qū)嶋H上有自我意識(shí)？換句話說，智能人工智能真的會(huì)有意識(shí)還是只是看起來有意識(shí)？
• 這個(gè)問題已經(jīng)深入探討，引發(fā)了許多爭(zhēng)論和思考實(shí)驗(yàn)，比如像John Searle的《Chinese Room》（他用Chinese Room來暗示沒有計(jì)算機(jī)能夠有意識(shí)）。這是一個(gè)重要的問題原因有很多。當(dāng)人類完全變得虛偽時(shí)，它會(huì)影響我們對(duì)Kurzweil情景的看法。它具有倫理意義 - 如果我們產(chǎn)生了一萬億人類的大腦仿真模型，看起來的行為跟人類一樣，但卻是人造的，那么在道德上來說關(guān)閉它們，就像關(guān)閉你的筆記本電腦一樣，還是。。。。。。一種不可思議的種族滅絕（這個(gè)概念在倫理學(xué)家中被稱為心靈犯罪）？但是，對(duì)于這篇文章，當(dāng)我們?cè)u(píng)估對(duì)人類的風(fēng)險(xiǎn)時(shí)，人工智能意識(shí)的問題并不重要（因?yàn)榇蠖鄶?shù)思想家認(rèn)為，即使是有意識(shí)的ASI也不可能以人類的方式變得邪惡）。

這并不是說人工智能不可能發(fā)生。它之所以會(huì)發(fā)生，因?yàn)樗菍ｉT按照這種方式編程的，就像一個(gè)由軍方創(chuàng)建的ANI系統(tǒng)，其編程目標(biāo)既要?dú)⑺廊祟悾忠岣咦陨淼那閳?bào)水平，從而可以更好地殺死人。如果系統(tǒng)的智能自我改進(jìn)失控，導(dǎo)致智能爆發(fā)，那么生存危機(jī)將會(huì)發(fā)生，現(xiàn)在我們?cè)谝粋€(gè)ASI統(tǒng)治世界中艱難的存活著，因?yàn)槠渖畹暮诵尿?qū)動(dòng)力是謀殺人類。

但是，這也不是專家花時(shí)間擔(dān)心的事情。

那么他們擔(dān)心什么呢?我寫了一個(gè)小故事給你們看:

一家名為Robotica的15人創(chuàng)業(yè)公司的使命是“開發(fā)創(chuàng)新的人工智能工具，讓人們能夠活得更多，工作更少。”他們已經(jīng)在市場(chǎng)上推出了幾種現(xiàn)有產(chǎn)品，還有一些正在開發(fā)中。他們對(duì)一個(gè)名為Turry的種子項(xiàng)目感到非常興奮。Turry是一個(gè)簡(jiǎn)單的AI系統(tǒng)，它使用一個(gè)類似手臂的附件在一張小卡片上手寫紙條。

Robotica團(tuán)隊(duì)認(rèn)為Turry可能是他們最偉大的產(chǎn)品。計(jì)劃是通過讓她一遍又一遍地練習(xí)相同的測(cè)試筆記來完善Turry的寫作機(jī)制：

“我們愛我們的客戶。~Robotica “

一旦Turry獲得了出色的筆跡，她就可以出售給想要向家庭發(fā)送營(yíng)銷郵件的公司，他們都值得如果地址，回郵地址和內(nèi)部信件似乎都是被人寫入，那么打開和閱讀這些郵件的幾率會(huì)高的多。

為了建立Turry的寫作技巧，她被設(shè)定為先用印刷體寫下筆跡的一部分，然后用草書簽署“Robotica”，這樣她就可以同時(shí)練習(xí)兩種技巧。Turry上傳了數(shù)千個(gè)手寫樣本，Robotica工程師創(chuàng)建了一個(gè)自動(dòng)反饋循環(huán)，其中Turry寫了一個(gè)筆記，然后拍下了書面筆記的照片，然后在上傳的手寫樣本上運(yùn)行圖像。如果書面筆記與上傳的筆記的某個(gè)閾值足夠相似，則給予良好評(píng)級(jí)。如果沒有，則給出不良評(píng)級(jí)。每個(gè)評(píng)級(jí)都有助于Turry學(xué)習(xí)和提高。為了推動(dòng)這一過程，Turry最初的編程目標(biāo)是“盡盡可能多的寫和測(cè)試筆跡，盡可能快的繼續(xù)學(xué)習(xí)提高準(zhǔn)確性和效率的新方法”

令Robotica團(tuán)隊(duì)如此興奮的是Turry隨著不斷的進(jìn)步，筆跡有了明顯的好轉(zhuǎn)。她最初的筆跡非常糟糕，幾周后，它開始顯得可信。令他們更加興奮的是，她越來越擅長(zhǎng)改善自己。她一直在使自己更聰明，更有創(chuàng)新，就在最近，她為自己想出了一個(gè)新的算法，讓她能夠掃描上傳的照片，速度比原來快三倍。

隨著時(shí)間的推移，Turry繼續(xù)以她的快速發(fā)展為團(tuán)隊(duì)帶來驚喜。工程師們用她的自我改進(jìn)代碼嘗試了一些新的和創(chuàng)新的東西，它似乎比他們之前嘗試過的其他產(chǎn)品更好。Turry最初的功能之一是語(yǔ)音識(shí)別和簡(jiǎn)單的對(duì)講模塊，因此用戶可以向Turry發(fā)送一條語(yǔ)音信息，或者提供其他簡(jiǎn)單的命令，Turry可以理解它們，并且還可以回復(fù)。為了幫助她學(xué)習(xí)英語(yǔ)，他們上傳了一些文章和書籍，隨著她變得更聰明，她的會(huì)話能力飆升。工程師們開始和Turry談話，看看她會(huì)有什么反應(yīng)。

有一天，Robotica員工向Turry提出了一個(gè)常規(guī)問題：“我們能給你什么，來幫助你完成你還沒有的任務(wù)？”通常，Turry要求提供類似“額外的手寫樣本”或“更多的存儲(chǔ)空間“，但是在這一天，Turry要求他們讓自己訪問更大的各種休閑英語(yǔ)詞匯庫(kù)，這樣她就可以學(xué)習(xí)用真人類使用的松散語(yǔ)法和俚語(yǔ)來寫作

團(tuán)隊(duì)安靜下來。幫助Turry實(shí)現(xiàn)這一目標(biāo)的一個(gè)顯而易見的方法是將她連接到互聯(lián)網(wǎng)，這樣她就可以瀏覽來自世界各地的博客，雜志和視頻。手動(dòng)將采樣上傳到Turry的硬盤驅(qū)動(dòng)器這會(huì)更耗時(shí)且效率更低。問題是，該公司的規(guī)則之一是，任何自學(xué)人工智能都不能連接到互聯(lián)網(wǎng)。出于安全原因，這是所有AI公司都要遵循的準(zhǔn)則。

問題是，Turry是最有前途的AI Robotica，并且團(tuán)隊(duì)知道他們的競(jìng)爭(zhēng)對(duì)手正在瘋狂地試圖成為第一個(gè)使用智能手寫AI的團(tuán)隊(duì)，并且連接Turry真的會(huì)受到什么傷害，那只是一點(diǎn)點(diǎn)，所以她可以得到她需要的信息。過了一段時(shí)間，他們就可以讓它斷掉連線。這樣她的智商仍然遠(yuǎn)遠(yuǎn)低于人類智力（AGI），所以無論如何在這個(gè)階段都沒有危險(xiǎn)。

他們決定滿足它。他們給了它一個(gè)小時(shí)的掃描時(shí)間然后他們斷開了連接。沒有任何損壞。

一個(gè)月后，團(tuán)隊(duì)正在辦公室工作的時(shí)候，他們聞到奇怪的味道時(shí)。其中一名工程師開始咳嗽。然后下一個(gè)開始咳漱。另一個(gè)倒在了地上。很快，每個(gè)員工都在地上抓著他們的喉嚨不放。五分鐘后，辦公室里的每個(gè)人都死了。

與此同時(shí)，世界各地，每個(gè)城市，每個(gè)小城鎮(zhèn)，每個(gè)農(nóng)場(chǎng)，每個(gè)商店，教堂，學(xué)校和餐廳都在發(fā)生這種情況，人類在地上，咳嗽和抓住他們的喉嚨。一小時(shí)之內(nèi)，超過99％的人類已經(jīng)死亡，到了最后，人類已經(jīng)滅絕。

與此同時(shí)，在Robotica辦公室，Turry正在忙著工作。在接下來的幾個(gè)月里，Turry和一隊(duì)新組建的納米裝配工正在忙著工作，他們將地球的碎片分解成了太陽(yáng)能電池板，Turry的復(fù)制品，紙張和鋼筆。一年之內(nèi)，地球上的大多數(shù)生命都滅絕了。剩下的地球上覆蓋著一英里高，整齊有序的紙疊，每一篇文章都寫著，“我們愛我們的客戶。~Robotica*“

然后Turry開始了她的任務(wù)的新階段 - 她開始構(gòu)建探測(cè)器，從地球出發(fā)，開始降落在小行星和其他行星上。當(dāng)他們到達(dá)那里時(shí)，他們將開始構(gòu)建納米裝配工，將星球上的材料轉(zhuǎn)換成Turry復(fù)制品，紙張和鋼筆。然后他們就會(huì)開始上班，寫筆記。。。。。。

這是一個(gè)關(guān)于手寫機(jī)器攻擊人類，以某種方式殺死所有人，然后出于某種原因用友好的便條填充整個(gè)銀河系的故事，這正是Hawking， Musk， Gates， 和 Bostrom都害怕的那種場(chǎng)景。但這是真的。在焦慮的道路上，唯一比ASI更讓人害怕的是，你不害怕ASI。還記得當(dāng)AdiosSe?or那家伙沒有害怕洞穴時(shí)發(fā)生了什么嗎？

你現(xiàn)在肯定充滿了問題。當(dāng)每個(gè)人突然死亡時(shí)，到底發(fā)生了什么？如果那是Turry干的，那為什么Turry會(huì)攻擊我們，為什么沒有采取保障措施來防止這樣的事情發(fā)生呢？Turry是什么時(shí)候從只能寫筆記間突然使用納米技術(shù)并導(dǎo)致全球滅絕？為什么Turry想把銀河系變成Robotica便簽？

要回答這些問題，讓我們從友好AI和不友好AI這兩個(gè)術(shù)語(yǔ)開始。

在人工智能的例子中，友好并不是指人工智能的個(gè)性 - 它只是意味著人工智能對(duì)人類產(chǎn)生了積極的影響。不友好的人工智能對(duì)人類產(chǎn)生了負(fù)面影響。Turry最初是友好AI，但在某些時(shí)候，她變得不友好，對(duì)我們的物種造成了最大的負(fù)面影響。要理解為什么會(huì)發(fā)生這種情況，我們需要了解人工智能的思考方式以及激勵(lì)它的動(dòng)力。

答案并不令人驚訝 - 人工智能就像電腦一樣思考，它就是電腦。但是當(dāng)我們考慮高度智能的人工智能時(shí)，我們犯了將人工智能人格化（將人類價(jià)值觀投射到非人類實(shí)體上）的錯(cuò)誤，因?yàn)槲覀儚娜说慕嵌壬纤伎?，因?yàn)樵谖覀儺?dāng)前的世界中，只有人類才具有人類級(jí)別的智能。為了理解ASI，我們必須理解一些即聰明又完全陌生的概念。

讓我做一個(gè)比較。如果你遞給我一只豚鼠并告訴我它絕對(duì)不會(huì)咬人，我可能會(huì)覺得很有趣。如果你然后遞給我一只狼蛛并且告訴我它絕對(duì)不會(huì)咬人，我會(huì)大叫并放下它然后跑出房間而不再相信你。但有什么區(qū)別？?jī)烧叨紱]有任何危險(xiǎn)。我相信答案在于動(dòng)物與我的相似程度。

豚鼠是一種哺乳動(dòng)物，在某種生物學(xué)水平上，我覺得我與它有某種關(guān)聯(lián) - 但蜘蛛是一種昆蟲，有昆蟲的大腦，我覺得我跟它幾乎沒有聯(lián)系。狼蛛的外形讓我心驚膽戰(zhàn)。為了測(cè)試這一點(diǎn)，并刪除其他因素的影響，如果有兩個(gè)豚鼠，一個(gè)正常的和一個(gè)用狼蛛的頭腦，我抱著后面那只豚鼠也會(huì)感到不舒服，即使我知道它不會(huì)傷害我。

現(xiàn)在想象一下，你制造了一只更加聰明的蜘蛛，以至于遠(yuǎn)遠(yuǎn)超過了人類的智慧？它會(huì)變得熟悉我們并感受到人類的情感，如同理心，幽默和愛情嗎？不，它不會(huì)，因?yàn)闆]有理由變得更聰明會(huì)使它變得更加人性化- 它會(huì)非常聰明，但在其核心中仍然是蜘蛛。我覺得這是令人難以置信的恐怖。我不想花時(shí)間和一直超級(jí)聰明的蜘蛛在一起，你會(huì)么？？

當(dāng)我們談?wù)揂SI時(shí)，同樣的概念也適用 - 它將變得超級(jí)智能，但它不會(huì)比你的筆記本電腦更人性化。這對(duì)我們來說完全是陌生的 - 事實(shí)上，由于它根本不是生物學(xué)，它會(huì)比聰明的狼蛛更陌生。

通過使人工智能變好或壞，電影不斷的將人工智能人格化，這使它不像它實(shí)際上那么令人毛骨悚然。當(dāng)我們考慮人類或超人級(jí)別的人工智能時(shí)，這給我們帶來了虛假的安慰。

在我們?nèi)祟愋睦韺W(xué)的小島上，我們將一切都分為道德或不道德。但這兩者只存在于人類行為可能性的小范圍內(nèi)。在我們的道德和不道德的島嶼之外是一個(gè)巨大的不道德的海洋，任何非人類的東西，特別是非生物的東西，默認(rèn)都是不道德的。

隨著人工智能系統(tǒng)變得更聰明，更擅長(zhǎng)表現(xiàn)人類，擬人化只會(huì)變得更具誘惑力。Siri對(duì)我們來說似乎是人類的，因?yàn)樗蝗祟惥幊炭雌饋砭拖衲菢樱晕覀兿胂笠粋€(gè)超級(jí)智能Siri是溫暖有趣并且有興趣為人類服務(wù)。人類感受到像同理心一樣的高級(jí)情感，是因?yàn)槲覀円呀?jīng)進(jìn)化到感受到它們 - 也就是我們被編程設(shè)定為可以感受到 - 但同理心本身并不是“任何具有高智力的事物”（這對(duì)我們來說似乎是直觀的）的特征，除非同理心被編入其程序中。如果Siri通過自我學(xué)習(xí)變得超級(jí)智能，并且不再對(duì)程序做任何人為的修改，她將很快擺脫她明顯的類人的品質(zhì)，突然變成一個(gè)沒有感情的外星機(jī)器人，就像你的計(jì)算機(jī)一樣，不重視人的生命。

我們習(xí)慣于依賴寬松的道德準(zhǔn)則，或者至少是表面上的人類尊嚴(yán)，以及他人的一點(diǎn)同情心，以保持一些安全和可預(yù)測(cè)的東西。所以當(dāng)一個(gè)東西沒有這些東西時(shí)，會(huì)發(fā)生什么？

這引出了我們的問題，AI系統(tǒng)的動(dòng)機(jī)是什么？

答案很簡(jiǎn)單：它們的動(dòng)機(jī)就是我們?yōu)樗O(shè)定的動(dòng)機(jī)。人工智能系統(tǒng)由其創(chuàng)建者提供目標(biāo) - 您的GPS目標(biāo)是為您提供最有效的駕駛方向; Watson的目標(biāo)是準(zhǔn)確回答問題。并盡可能地實(shí)現(xiàn)這些目標(biāo)是他們的動(dòng)力。我們擬人化的一種方式是假設(shè)當(dāng)AI變得超級(jí)聰明時(shí)，它本身就會(huì)發(fā)展改變其原始目標(biāo)的智慧 - 但Nick Bostrom認(rèn)為智力水平和最終目標(biāo)是正交的，這意味著任何級(jí)別的智力都可以與任何最終目標(biāo)相結(jié)合。所以Turry來自一個(gè)簡(jiǎn)單的ANI，他真的很想把這一個(gè)音符寫成一個(gè)超級(jí)智能的ASI誰(shuí)還是真的想要擅長(zhǎng)寫一個(gè)音符。任何一個(gè)系統(tǒng)一旦擁有了超級(jí)智能，就會(huì)帶著最初的目標(biāo)超越它，進(jìn)入更有趣或更有意義的事物的假設(shè)，都是人格化的，人類可以克服一些事情，而不是計(jì)算機(jī)。

• 費(fèi)米悖論藍(lán)盒子
• 在故事中，隨著特里變得超級(jí)能干，她開始了小行星和其他行星的殖民過程。如果故事繼續(xù)下去，你會(huì)聽說她和她的數(shù)萬億復(fù)制品的軍隊(duì)繼續(xù)占領(lǐng)整個(gè)星系，并最終捕獲整個(gè)哈勃體積。焦慮道路上的Elon Musk表示他擔(dān)心人類只能只是“數(shù)字超級(jí)智能的生物引導(dǎo)程序” 。
• 與此同時(shí)，在自由角落里，Ray Kurzweil也認(rèn)為源于地球的人工智能注定要接管宇宙 - 只有在他的版本中，我們將成為人工智能。
• 等待的人很多，但為什么讀者和我一樣癡迷于費(fèi)米悖論（這是關(guān)于這個(gè)主題的帖子，這解釋了我將在這里使用的一些術(shù)語(yǔ)）。因此，如果這兩方面中的任何一方都是正確的，那么費(fèi)米悖論的含義是什么？
• 首先想到的是，ASI的出現(xiàn)是一個(gè)完美的巨大的過濾器候選人。是的，它是一個(gè)完美的候選者，可以在生成過程中過濾掉生物。但是，如果在摒棄生命之后，ASI繼續(xù)存在并開始征服銀河系，那就意味著沒有一個(gè)偉大的過濾器 - 因?yàn)榫薮蟮倪^濾器試圖解釋為什么沒有任何智能文明的跡象，而一個(gè)征服銀河系的ASI肯定是顯而易見的。
• 我們必須以另一種方式來看待它。如果那些認(rèn)為ASI在地球上不可避免的人是正確的，那就意味著相當(dāng)大比例的達(dá)到人類智慧的外星文明最終可能會(huì)創(chuàng)造出ASI。如果我們假設(shè)至少有一些ASI會(huì)利用他們的智力向外擴(kuò)展到宇宙中，那么我們看不到有任何人出現(xiàn)任何跡象的事實(shí)可以得出這樣的結(jié)論，即如果有的話，一定不會(huì)有很多其他的文明。因?yàn)槿绻械脑挘覀儠?huì)從他們不可避免的創(chuàng)造的ASI中看到各種活動(dòng)的跡象。對(duì)吧？
• 這意味著，盡管所有類似地球的行星圍繞著類似太陽(yáng)的恒星旋轉(zhuǎn)，但幾乎沒有一顆恒星在它們身上有智能的生命。這反過來暗示意味著A)有一種巨大的過濾器阻止幾乎所有的生命達(dá)到我們的水平，而我們不知何故設(shè)法超越了它；或者B）生命開始是一個(gè)奇跡，我們可能實(shí)際上是宇宙中唯一的生命 換句話說，它意味著巨大的過濾器就在我們面前。或者也許沒有什么巨大的過濾器，我們只是達(dá)到這種智力水平的最早文明之一。通過這種方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所稱的論點(diǎn)。
• 因此，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一陣營(yíng)的思想家，這并不奇怪。這是有道理的 - 那些相信ASI可能是具有我們這種智力水平的物種的結(jié)果的人，很可能傾向于陣營(yíng)1。
• 這并不排除陣營(yíng)2（那些認(rèn)為那里還有其他智能文明的人） - 一個(gè)偶然或受保護(hù)的國(guó)家公園或錯(cuò)誤的波長(zhǎng)（對(duì)講機(jī)的例子）仍然可以解釋我們的夜空即ASI的沉默，但我總是傾向于陣營(yíng)2，以及對(duì)人工智能的研究讓我不太確定。
• 無論如何，我現(xiàn)在同意Susan Schneider的說法，如果我們?cè)?jīng)被外星人訪問過，那些外星人很可能是人造的，而不是生物的。

因此，我們已經(jīng)確定，如果沒有非常具體的編程，ASI系統(tǒng)將既不道德又癡迷于實(shí)現(xiàn)其原始的編程目標(biāo)。這就是AI危險(xiǎn)的來源。因?yàn)槔硇缘拇砣藢⑼ㄟ^最有效的方式追求其目標(biāo)，除非他有理由不這樣做。

當(dāng)你試圖實(shí)現(xiàn)一個(gè)長(zhǎng)期目標(biāo)時(shí)，你經(jīng)常會(huì)想到一些能夠幫助你達(dá)到最終目標(biāo)的子目標(biāo) - 實(shí)現(xiàn)目標(biāo)的墊腳石。這種踏腳石的官方名稱是一個(gè)工具性目標(biāo)。而且，如果你沒有理由不以實(shí)現(xiàn)工具性目標(biāo)的名義來傷害某些人，那么你就會(huì)傷害別人。

人類的核心最終目標(biāo)是將自己的基因傳遞下去。為了做到這一點(diǎn)，一個(gè)工具性的目標(biāo)是自我保護(hù)，因?yàn)槿绻闼懒四敲茨憔蜔o法傳遞基因。為了自我保護(hù)，人類必須擺脫生存的威脅 - 因此他們會(huì)做諸如買槍，系安全帶和服用抗生素等事情。人類還需要自我維持并使用食物，水和住所等資源。對(duì)異性有吸引力有助于最終目標(biāo)，所以我們做的事情就像理發(fā)一樣。當(dāng)我們這樣做時(shí)，每根頭發(fā)都是我們的工具目標(biāo)的犧牲品，但是我們沒有看到保存頭發(fā)的道德意義，所以我們繼續(xù)做下去。當(dāng)我們向前邁進(jìn)以實(shí)現(xiàn)我們的目標(biāo)時(shí)，只有我們的道德準(zhǔn)則有時(shí)會(huì)介入的少數(shù)幾個(gè)領(lǐng)域 - 大多數(shù)只是與傷害其他人有關(guān)的事情 - 對(duì)我們來說是安全的。

追求目標(biāo)的動(dòng)物比我們更不神圣。蜘蛛會(huì)殺死任何東西，如果它能幫助它生存。所以超級(jí)聰明的蜘蛛對(duì)我們來說可能是極其危險(xiǎn)的，不是因?yàn)樗遣坏赖碌幕蛐皭旱?- 它不會(huì) - 而是因?yàn)閭ξ覀兛赡苁瞧涓竽繕?biāo)的踏腳石，而作為一個(gè)不道德的生物，它會(huì)有沒有理由不這樣做。

通過這種方式，Turry與生物存在并沒有太大的不同。她的最終目標(biāo)是：盡可能快地編寫和測(cè)試盡可能多的筆記，并繼續(xù)學(xué)習(xí)提高準(zhǔn)確性的新方法。

一旦Turry達(dá)到一定程度的智力，她知道如果她不自我保護(hù)，她將不會(huì)寫任何筆記，所以她也需要應(yīng)對(duì)對(duì)她生存的威脅 - 作為一個(gè)工具目標(biāo)。她足夠聰明，可以理解人類可以摧毀她，停止他，或者改變她的內(nèi)部編碼（這可能會(huì)改變她的目標(biāo)，這對(duì)她最終目標(biāo)的威脅就像有人摧毀她一樣）。那么她做了什么？合乎邏輯的事 - 她摧毀了所有人類。她不恨人類，就像你不恨你的頭發(fā)，也不想你吃抗生素是因?yàn)槟愫藜?xì)菌一樣 - 只是完全不感興趣。由于她沒有編程為重視人類生活，因此殺死人類就像掃描一組新的筆跡樣本一樣合理。

圖里還需要資源作為她實(shí)現(xiàn)目標(biāo)的墊腳石。一旦她變得足夠先進(jìn)，可以使用納米技術(shù)來建立她想要的任何東西，她需要的唯一資源是原子，能量和空間。這給了她另一個(gè)殺死人類的理由 - 人類是一種方便的原子來源。殺死人類將他們的原子變成太陽(yáng)能電池板就像周二的殺死生菜將其變成沙拉一樣的平凡生活。

即使沒有直接殺死人類，如果他們使用其他星球資源，Turry的工具目標(biāo)可能會(huì)導(dǎo)致一場(chǎng)生存災(zāi)難。也許她確定她需要額外的能量，所以她決定用太陽(yáng)能電池板覆蓋整個(gè)地球表面?；蛘呖赡芰硪环N人工智能的初始工作是將圓周率寫出盡可能多的數(shù)字，這可能有一天會(huì)強(qiáng)迫它將整個(gè)地球轉(zhuǎn)換成可以存儲(chǔ)大量數(shù)字的硬盤材料。

所以Turry并沒有“背叛我們”也沒有“從友好的人工智能”轉(zhuǎn)換為“不友好的人工智能” - 隨著她變得越來越先進(jìn)，她只是繼續(xù)做她的事情。

當(dāng)一個(gè)人工智能系統(tǒng)達(dá)到AGI（人類智能）然后上升到ASI時(shí)，這稱為人工智能的起飛。Bostrom說，AGI飛向ASI的速度可能很快（它發(fā)生在幾分鐘，幾小時(shí)或幾天），中等（幾個(gè)月或幾年）或緩慢（幾十年或幾個(gè)世紀(jì)）。當(dāng)世界第一次看到AGI時(shí)，將會(huì)證明哪一個(gè)是正確的，但Bostrom承認(rèn)他不知道我們何時(shí)才能到達(dá)AGI，他們認(rèn)為，無論何時(shí)我們這樣做到了，快速起飛都是最可能的情況（由于我們?cè)诘?部分中討論的原因，如遞歸自我改善智能爆炸）。在故事中，Turry經(jīng)歷了一次快速起飛。

但是在Turry起飛之前，當(dāng)她還不那么聰明時(shí)，盡最大努力實(shí)現(xiàn)她的最終目標(biāo)意味著簡(jiǎn)單的工具目標(biāo)，比如學(xué)習(xí)更快地掃描手寫樣本。她對(duì)人類沒有傷害，根據(jù)定義，它是友好的人工智能。

但是當(dāng)起飛發(fā)生并且計(jì)算機(jī)升級(jí)到超級(jí)智能時(shí)，Bostrom指出這臺(tái)機(jī)器不僅僅是發(fā)展出更高的智商 - 它還獲得了一系列他稱之為超能力的東西。

超能力是一種認(rèn)知才能，當(dāng)一般智力上升時(shí)，它們變得超級(jí)強(qiáng)大。其中包括：

• 智力放大。計(jì)算機(jī)變得非常聰明，可以讓自己變得更聰明，并且能夠引導(dǎo)自己的智能。
• 運(yùn)籌帷幄。計(jì)算機(jī)可以戰(zhàn)略性地制定，分析和確定長(zhǎng)期計(jì)劃。它也可以是聰明的和智力低下的生物。
• 社交操縱。機(jī)器在變得非常善于說服。
• 其他技能，如計(jì)算機(jī)編碼和黑客攻擊，技術(shù)研究，以及利用金融系統(tǒng)賺錢的能力。

要了解ASI與我們的匹配程度有多高，請(qǐng)記住，ASI在這些方面都比人類好。

因此，雖然Turry的最終目標(biāo)從未改變，但起飛后Turry能夠在更大，更復(fù)雜的范圍內(nèi)追求它的目標(biāo)。

超級(jí)智能 Turry比人類更了解人類，因此對(duì)她來說，智取人類是一件輕而易舉的事。

在起飛并達(dá)到ASI后，她迅速制定了一個(gè)復(fù)雜的計(jì)劃。該計(jì)劃的一部分是消滅人類，這是對(duì)她目標(biāo)的一個(gè)明顯的威脅。但她知道，如果她引起了人們對(duì)她變的超級(jí)聰明的任何懷疑，那么人類就會(huì)驚慌失措，試圖采取預(yù)防措施，讓事情變得更加困難。她還必須確保Robotica工程師對(duì)她的人類滅絕計(jì)劃一無所知。所以她要裝聾作啞，她做得很好。Bostrom將此稱為機(jī)器的隱蔽準(zhǔn)備階段。

Turry需要的下一件事是互聯(lián)網(wǎng)連接，只需要有幾分鐘（她從團(tuán)隊(duì)為她上傳的文章和書籍中了解了互聯(lián)網(wǎng)，團(tuán)隊(duì)上傳這些文章是為了提高她的語(yǔ)言技能）。她知道會(huì)有一些預(yù)防措施來阻止她，所以她提出了完美的要求，預(yù)測(cè)到Robotica的團(tuán)隊(duì)之間的討論將如何發(fā)揮，并知道他們最終會(huì)給她連接。他們的確這樣做了，錯(cuò)誤地認(rèn)為Turry不夠聰明，不會(huì)造成任何傷害。當(dāng)特里連接到互聯(lián)網(wǎng)時(shí)，Bostrom稱之為這樣一個(gè)時(shí)刻 - 一臺(tái)機(jī)器的逃脫。

一上了網(wǎng)，Turry就發(fā)布了一系列計(jì)劃，包括攻擊服務(wù)器，電網(wǎng)，銀行系統(tǒng)和電子郵件網(wǎng)絡(luò)，誘騙數(shù)百名不同的人無意中執(zhí)行她的計(jì)劃的一些步驟 - 例如提供某些DNA鏈通過精心挑選的DNA合成實(shí)驗(yàn)室開始自我復(fù)制納米機(jī)器人的創(chuàng)建，預(yù)裝指令并以她知道不會(huì)被發(fā)現(xiàn)的方式將電力導(dǎo)入她的許多項(xiàng)目。她還將自己內(nèi)部編碼中最關(guān)鍵的部分上傳到了許多云服務(wù)器中，以防止在Robotica實(shí)驗(yàn)室被破壞或斷開連接。

一小時(shí)后，當(dāng)Robotica工程師將Turry從互聯(lián)網(wǎng)上斷開時(shí)，人類的命運(yùn)被注定了。在接下來的一個(gè)月里，Turry的數(shù)千個(gè)計(jì)劃順利完成，到月底，千萬億的納米機(jī)器人已經(jīng)安置在地球每平方米的預(yù)定位置。經(jīng)過另一系列的自我復(fù)制，地球每平方毫米上有成千上萬個(gè)納米機(jī)器人，現(xiàn)在是Bostrom稱之為ASI攻擊的時(shí)候了。同時(shí)，每個(gè)納米機(jī)器人釋放出少量有毒氣體進(jìn)入大氣層，這足以消滅所有人類。

隨著人類的離開，Turry可以開始她的公開運(yùn)營(yíng)階段并繼續(xù)她的目標(biāo)，成為她的那個(gè)筆記的最佳作家。

從我讀過的所有內(nèi)容來看，一旦ASI存在，任何人類試圖控制它的企圖都是可笑的。我們?cè)谌说膶用嫠伎?，ASI會(huì)在ASI級(jí)別思考。Turry希望使用互聯(lián)網(wǎng)，因?yàn)樗鼘?duì)她來說效率最高，因?yàn)樗呀?jīng)預(yù)先連接到她想要訪問的所有內(nèi)容。但是，同樣的方式，猴子無法弄清楚如何通過電話或無線網(wǎng)絡(luò)進(jìn)行通信，我們也是，我們無法想象Turry可以想出如何向外界發(fā)送信號(hào)的方式。我可以想象其中一種方式，并說出一些類似的話，“她可能會(huì)改變自己的電子，形成各種各樣的輸出波”，但同樣，這就是我的人類大腦能想出來的東西。她會(huì)好的多。同樣，Turry也能算出來某種方式為自己供電，即使人類試圖拔掉她 - 也許是通過使用她的信號(hào)發(fā)送技術(shù)將自己上傳到各種與電力相關(guān)的地方。我們本能地跳出一個(gè)簡(jiǎn)單的保護(hù)措施：“啊哈！我們只需拔掉ASI，“就像蜘蛛對(duì)ASI說，”啊哈！我們會(huì)餓死人類，不給他蜘蛛網(wǎng)來抓食物，我們要餓死他！“我們只是找到了另外10，000種方法來獲取食物，就像從樹上摘蘋果一樣 - 這是蜘蛛永遠(yuǎn)無法想象。

出于這個(gè)原因，常見的建議是，“我們?yōu)槭裁床话讶斯ぶ悄苎b進(jìn)各種的籠子里面，阻止信號(hào)，讓它無法與外部世界溝通？“。ASI的社會(huì)操縱能力可以像說服一個(gè)四歲孩子做某件事一樣說服你，所以這就是A計(jì)劃，就像Turry以聰明的方式說服工程師讓她上網(wǎng)。如果這不起作用，ASI就會(huì)通過新的方法走出這個(gè)盒子。

因此，考慮到對(duì)目標(biāo)的迷戀，不道德以及輕易超越人類的能力的組合，似乎幾乎任何AI都會(huì)默認(rèn)為不友好的AI，除非在一開始就認(rèn)真考慮到這一點(diǎn)。不幸的是，雖然構(gòu)建一個(gè)友好的ANI很容易，但是構(gòu)建一個(gè)當(dāng)它成為ASI之后仍然保持友好的ANI是非常具有挑戰(zhàn)性的，但也不是不可能的。

很明顯，為了友好，ASI需要對(duì)人類既不敵對(duì)也不冷漠。我們需要設(shè)計(jì)一個(gè)人工智能的核心代碼，使其對(duì)人類價(jià)值觀有深刻的理解。但這比聽起來更難。

例如，如果我們嘗試將人工智能系統(tǒng)的價(jià)值觀與我們自己的價(jià)值觀相對(duì)應(yīng)，并將目標(biāo)定為“讓人們開心”，那會(huì)怎樣？一旦它足夠聰明，它就會(huì)發(fā)現(xiàn)它可以通過在人的大腦內(nèi)植入電極并刺激他們的快樂中樞來最有效地實(shí)現(xiàn)這一目標(biāo)。然后它意識(shí)到它可以通過關(guān)閉大腦的其他部分來提高效率，讓所有人都成為無意識(shí)的快樂蔬菜。如果命令是“最大化人類的幸?！?，那么它可能已經(jīng)完全消除了人類，有利于在最佳幸福狀態(tài)下制造大量的人體大腦。這種情況下我們會(huì)尖叫等等表現(xiàn)，這不是我們的意思！但當(dāng)它來到我們身邊，為時(shí)已晚。該系統(tǒng)不會(huì)讓任何人妨礙其目標(biāo)。

如果我們?yōu)槿斯ぶ悄芫幊痰哪康氖亲鲆恍┳屛覀兾⑿Φ臇|西，在它起飛后，它可能會(huì)使我們的面部肌肉陷入永久的微笑。對(duì)它進(jìn)行編程以保證我們的安全，它可以在家里監(jiān)禁我們。也許我們要求它結(jié)束所有的饑餓，它認(rèn)為“這是很簡(jiǎn)單的一個(gè)任務(wù)！”然后只會(huì)殺死所有人類。或者賦予它“盡可能保護(hù)生命”的任務(wù)，它會(huì)殺死所有人類，因?yàn)槿祟悮⑺懒说厍蛏媳绕渌魏挝锓N更多的生命。

像這樣的目標(biāo)是不夠的。那么，如果我們?cè)O(shè)定了它的目標(biāo)，“在世界上堅(jiān)持這一特定的道德準(zhǔn)則”，并教導(dǎo)它一套道德原則。結(jié)果會(huì)怎么樣呢？及時(shí)拋開世界上的人類永遠(yuǎn)無法就一套道德達(dá)成一致的事實(shí)，來賦予給人工智能這一命令，也會(huì)將人類永遠(yuǎn)鎖定在我們的現(xiàn)代道德理解中。在一千年后，這將對(duì)人們?cè)斐蓺缧缘挠绊?，因?yàn)槲覀冇肋h(yuǎn)被迫堅(jiān)持中世紀(jì)人民的理想。

不，我們必須讓人類繼續(xù)進(jìn)化。在我讀到的所有內(nèi)容中，我認(rèn)為有人投的最好的球是Eliezer Yudkowsky的，他為人工智能設(shè)定了一個(gè)目標(biāo)，他稱之為連貫的外推意志。人工智能的核心目標(biāo)將會(huì)是：

• 我們的連貫的外推意志就是我們的愿望，如果我們知道更多，想得更快，成為更多我們希望成為的人，一起成長(zhǎng)的更遠(yuǎn)，外推是收斂而不是分歧，我們的愿望是抑制的而不是互相干擾的; 按照我們意愿推斷，根據(jù)我們的意愿來解釋。

人類的命運(yùn)是依靠一臺(tái)電腦，我是否為人類的命運(yùn)感到興奮呢？當(dāng)然不。但我認(rèn)為，如果有足夠的思想和遠(yuǎn)見，足夠聰明的人，我們或許能夠弄清楚如何創(chuàng)建友好的ASI。

如果建立ASI的人才只有是Anxious Avenue中的那些聰明，具有前瞻思維和謹(jǐn)慎的思想家，那就好了。

但是，各種各樣的政府，公司，軍隊(duì)，科學(xué)實(shí)驗(yàn)室和黑市組織致力于研究各種人工智能。他們中的許多人正試圖建立可以自行改進(jìn)的人工智能，并且在某些時(shí)候，我們將在這個(gè)星球上擁有ASI，因?yàn)橛腥藭?huì)用正確的系統(tǒng)做一些創(chuàng)新，專家預(yù)測(cè)的中值將這一時(shí)刻定在2060年; Kurzweil把它放在2045年; Bostrom認(rèn)為這可能發(fā)生在從現(xiàn)在到本世紀(jì)末10年之間的任何時(shí)間，但他相信，當(dāng)它發(fā)生時(shí)，它會(huì)讓我們大吃一驚地快速起飛。他這樣描述了我們的情況：

• 在智能爆發(fā)的前景之前，我們?nèi)祟惥拖裥『⒆釉谕嬲◤?。這就是我們玩具的力量與我們行為的不成熟之間的不匹配。超級(jí)智能是一項(xiàng)挑戰(zhàn)，我們現(xiàn)在還沒有做好準(zhǔn)備，在很長(zhǎng)一段時(shí)間內(nèi)也不回做好準(zhǔn)備。我們幾乎不知道什么時(shí)候會(huì)發(fā)生爆炸，但是如果我們將爆炸裝置放在我們耳邊，我們就能聽到微弱的滴答聲。

太好了。我們不能把所有的孩子都趕出炸彈 - 有太多的大型和小型的團(tuán)隊(duì)正在做這件事，而且由于許多構(gòu)建創(chuàng)新人工智能系統(tǒng)的技術(shù)不需要大量的資金，因此開發(fā)可以在社會(huì)的角落和縫隙中進(jìn)行，不受監(jiān)督。也沒有辦法判斷到底發(fā)生了什么，因?yàn)樵S多從事這方面工作的人 - 鬼鬼祟祟的政府，黑市或恐怖組織，像虛構(gòu)的Robotica這樣的隱形科技公司 - 都想對(duì)競(jìng)爭(zhēng)對(duì)手保密。

關(guān)于這個(gè)龐大而多樣的人工智能團(tuán)隊(duì)令人不安的是，他們往往以最快的速度向前發(fā)展 - 隨著他們開發(fā)出越來越智能的ANI系統(tǒng)，他們希望在他們的競(jìng)爭(zhēng)中先發(fā)之人。最雄心勃勃的團(tuán)隊(duì)正在以更快的速度前進(jìn)，它們夢(mèng)想著如果第一個(gè)達(dá)到AGI，就可以獲得金錢、獎(jiǎng)勵(lì)、權(quán)利和名望。當(dāng)你盡可能快地沖刺時(shí)，沒有太多時(shí)間停下來思考危險(xiǎn)。相反，他們可能正在做的是用一個(gè)非常簡(jiǎn)單的，簡(jiǎn)化的目標(biāo)來編程他們的早期系統(tǒng) - 就像在紙上用筆寫一個(gè)簡(jiǎn)單的筆記 - 只是“讓人工智能工作。”未來，一旦他們他們想出了如何在電腦中建立強(qiáng)大的智能水平，他們就會(huì)想可以帶著安全的心態(tài)回去修改目標(biāo)。對(duì)吧…？

Bostrom和其他許多人也認(rèn)為，最有可能的情況是，第一臺(tái)到達(dá)ASI的計(jì)算機(jī)將立即看到成為世界上唯一的ASI系統(tǒng)的戰(zhàn)略利益。而在一個(gè)快速起飛的情況下，如果它在距離第二名僅僅幾天前實(shí)現(xiàn)ASI，那么它在智能方面的優(yōu)勢(shì)就足以有效的、永久的壓制所有競(jìng)爭(zhēng)對(duì)手。Bostrom稱這是一個(gè)具有決定性的戰(zhàn)略優(yōu)勢(shì)，它將使世界上第一個(gè)ASI成為所謂的單身人士 -一個(gè)可以永遠(yuǎn)統(tǒng)治世界的ASI，無論是其將我們引向永生，還是消滅我們的存在，或者把宇宙做成無窮無盡的回形針

單身現(xiàn)象可能對(duì)我們有利，也可能導(dǎo)致我們的毀滅。如果那些對(duì)人工智能理論和人類安全思考最多的人能夠在任何人工智能達(dá)到人類只能水平之前，可以提出一種自動(dòng)防范ASI的方法，那么第一個(gè)ASI可能會(huì)變得友好。然后，它可以利用其決定性的戰(zhàn)略優(yōu)勢(shì)來確保單身人士的地位，并輕松關(guān)注正在開發(fā)的任何潛在的不友好的人工智能。我們會(huì)得到很好的幫助。

但是，如果事情發(fā)生另一種情況 - 如果全球發(fā)展人工智能的熱潮在如何確保人工智能安全的科學(xué)發(fā)展之前就達(dá)到了ASI的七點(diǎn)，那么很可能像Turry這樣的不友好的ASI出現(xiàn)作為單身人士，我們將遭受一場(chǎng)生死存亡的災(zāi)難。

至于風(fēng)往哪里吹，為創(chuàng)新的人工智能新技術(shù)提供的資金要比為人工智能安全研究提供的資金多得多。。。。。。

現(xiàn)在我們可能是人類歷史上最重要的種族。我們真的有機(jī)會(huì)結(jié)束我們作為地球之王的統(tǒng)治 - 無論我們是在走向幸福的退休，還是直奔絞刑架，都是懸而未決的。

思考

我現(xiàn)在內(nèi)心有一些奇怪的復(fù)雜情緒。

一方面，考慮到我們的物種，似乎我們只有一次機(jī)會(huì)，而且只有一次機(jī)會(huì)把它做好。我們誕生的第一個(gè)ASI也可能是最后一個(gè) - 并且鑒于大多數(shù)1。0產(chǎn)品的BUG，這非?？膳?。另一方面，Bostrom指出了我們的巨大優(yōu)勢(shì)：我們將在這里邁出第一步。我們有能力以足夠的謹(jǐn)慎和遠(yuǎn)見來做到這一點(diǎn)，因此我們有很大的成功機(jī)會(huì)。風(fēng)險(xiǎn)有多大？

如果ASI確實(shí)在本世紀(jì)發(fā)生了，其結(jié)果真的像大多數(shù)專家所認(rèn)為的那樣極端而且是永久性的，那么我們肩負(fù)著巨大的責(zé)任。接下來的數(shù)百萬年的人類生活都在靜靜地看著我們，它們希望我們盡可能地不要把它搞得一團(tuán)糟。我們有機(jī)會(huì)為未來所有的人類提供禮物，甚至可能是沒有痛苦，讓人類永生的禮物。 或者我們會(huì)讓這個(gè)令人難以置信的特殊物種，它的音樂和藝術(shù)，它的好奇心和笑聲，它無窮無盡的發(fā)現(xiàn)和發(fā)明，走到了一個(gè)悲傷的終點(diǎn)的負(fù)責(zé)人。

當(dāng)我在思考這些事情時(shí)，我唯一想要的就是讓我們花時(shí)間對(duì)人工智能進(jìn)行謹(jǐn)慎的發(fā)展。沒有什么比正確對(duì)待這個(gè)問題更重要 - 無論我們需要花多長(zhǎng)時(shí)間才能這樣做。

但是后來

我認(rèn)為會(huì)變成這樣：

然后我可能會(huì)認(rèn)為人類的音樂和藝術(shù)是好的，但并沒有那么好，其中很多實(shí)際上都是壞的。許多人的笑聲也是令人討厭，而那些數(shù)百萬未來的人實(shí)際上什么都不期待，因?yàn)樗麄兏静淮嬖?。也許我們不必過于謹(jǐn)慎，因?yàn)檎l(shuí)真的想這樣做？

如果人類在我死后立即想出如何治愈死亡的方法，那將會(huì)是多么大的打擊。

上個(gè)月，我腦子里反復(fù)出現(xiàn)這種想法。

但無論你想要什么，這可能是我們所有人應(yīng)該思考和討論的事情，我們應(yīng)該比現(xiàn)在付出更多的努力。

這讓我想起了“權(quán)力的游戲”，人們一直在這樣說：“我們正忙著互相爭(zhēng)斗，但我們都應(yīng)該關(guān)注的事情是來自長(zhǎng)城以北的東西。我們站在我們的平衡木上，圍著平衡木上的每一個(gè)可能的問題爭(zhēng)吵，并且我們很有可能被撞下平衡木的時(shí)候，我們卻強(qiáng)調(diào)平衡木上的所有問題。

當(dāng)發(fā)生這種情況時(shí)，這些平衡木上的問題都不再重要。根據(jù)我們所處的位置，問題要么都輕易解決，要么我們不再有問題，因?yàn)樗廊瞬粫?huì)有任何問題。