為什么未來可能是我們最糟糕的噩夢

我想要了解人工智能的原因之一是“壞機器人”的主題總是讓我感到困惑。關(guān)于邪惡機器人的所有電影看起來都是不切實際的，我無法真正理解人工智能實際上是多么危險的現(xiàn)實情況。機器人是由我們制造的，那么為什么我們會以某種消極的方式設(shè)計它們呢？我們不會建立足夠的保障措施嗎？難道我們不能隨時切斷人工智能系統(tǒng)的電源并將其關(guān)閉嗎？為什么機器人想要做壞事呢？為什么機器人首先會“想要” 任何東西？我非常懷疑。但后來我一直聽到非常聰明的人在談?wù)撍?.......

那些人往往在這里的某個地方：

Anxious Avenue上的人們不在Panicked Prairie或Hopeless Hills--這兩個地區(qū)都是圖表最左邊的區(qū)域- 但他們很緊張。作為一個在圖表中間并不意味著你認(rèn)為ASI的到來將是中性-中性粒子給予他們的陣營自有它的意味，它意味著著你認(rèn)為這兩個非常好的和極壞的結(jié)果是合理的，但“你”還不確定它們中的哪一個會出現(xiàn)。

所有的這些都隊人工超級智能能為我們做什么而感到興奮，只是他們有點擔(dān)心這可能是《奪寶奇兵》的開始，而人類就是這樣的人：

他站在那里，對他的鞭子和他手中的物品都很滿意，因為他已經(jīng)想走了，當(dāng)他說“再見，先生”這句話的時候，他為自己感到非常興奮，然后他不那么激動了，因為事情突然發(fā)生了。

與此同時，Indiana Jones，他更謹(jǐn)慎和有知識，了解危險以及如何在他們周圍航行，使其安全地離開洞穴。當(dāng)我聽到Anxious Avenue上的人們對人工智能有什么看法時，通常聽起來他們會說，“嗯，我們現(xiàn)在是第一個人，而我們應(yīng)該努力成為印第安納瓊斯。 ”

那究竟是什么讓Anxious Avenue上的每個人都如此焦慮？

首先，從廣義上講，當(dāng)涉及到開發(fā)超級智能AI時，我們正在創(chuàng)造一些可能會改變一切的東西，但是在完全未知的領(lǐng)域，我們不知道當(dāng)我們到達(dá)那里會發(fā)生什么。科學(xué)家Danny Hillis將目前的情況與“單細(xì)胞生物轉(zhuǎn)變?yōu)槎嗉?xì)胞生物”進(jìn)行了比較。我們是阿米巴原蟲，我們無法弄清楚我們正在制造什么東西到底是什么?！?Nick Bostrom擔(dān)心創(chuàng)造比你更聰明的東西是一個基本的達(dá)爾文錯誤，并將它的興奮的麻雀要在巢中的領(lǐng)養(yǎng)一個嬰兒貓頭鷹，這樣一旦它長大就會幫助它們并保護(hù)它們 - 同時忽略了一些麻雀的緊急呼喊，這些麻雀想知道這是不是一個好主意。。。。。。

當(dāng)你將“未知的，未被充分理解的領(lǐng)域”與“當(dāng)它發(fā)生時應(yīng)該產(chǎn)生重大影響”結(jié)合起來時，你打開了英語中最可怕的兩個詞的大門：

Existential risk。（存在風(fēng)險）

存在風(fēng)險可能對人類產(chǎn)生永久性的破壞性影響。通常，存在風(fēng)險意味著滅絕?？纯催@張來自從Bostrom 的Google演講中的圖表：

你可以看到，“存在風(fēng)險”這個標(biāo)簽是為跨越物種，跨越世代的事務(wù)保留的（即它是永久性的），并且它的后果是毀滅性的或死亡性的。從技術(shù)上講，這種情況包括所有人永遠(yuǎn)處于痛苦或折磨的狀態(tài)，但同樣，我們通常都在談?wù)摐缃^。有三件事可以導(dǎo)致人類的生存災(zāi)難：

1）大自然 - 一次巨大的小行星碰撞，一個大氣層的變化，使空氣不適合人類，致命的病毒或細(xì)菌病掃蕩世界，等等。

2）外星人 - 這就是斯蒂芬霍金，卡爾薩根和許多其他天文學(xué)家在建議METI停止播放輸出信號時所害怕的。他們不希望我們成為美洲原住民，讓所有潛在的歐洲征服者都知道我們在這里。

3）人類 -恐怖分子雙手握著可能導(dǎo)致滅絕的武器上，這是一場災(zāi)難性的全球戰(zhàn)爭，人類在不仔細(xì)考慮的情況下匆匆創(chuàng)造出比自己更聰明的東西。。。。。。

Bostrom指出，如果1號和2號在我們作為一個物種的第一個10萬年中沒有消滅我們，那么它也不太可能在下個世紀(jì)發(fā)生。

然而，3號嚇壞了他。他畫了一個甕的比喻，里面有一堆彈珠。假設(shè)大多數(shù)彈珠是白色的，較少的是紅色的，少數(shù)是黑色的。每次人類發(fā)明新事物時，就像把彈珠從甕中拉出來一樣。大多數(shù)發(fā)明都是中立的或?qū)θ祟愑袔椭?- 那些是白色彈珠。有些對人類有害，如大規(guī)模殺傷性武器，但它們不會造成存在性的災(zāi)難 - 紅色大理石。如果我們曾經(jīng)發(fā)明了一些讓我們滅絕的東西，那就是拿出的黑色大理石。我們還沒有拉出黑色大理石 - 因為你還活著并且正在閱讀這篇文章。但博斯特羅姆并不認(rèn)為我們不可能在不久的將來推出一個。例如，如果核武器很容易制造而不是極其困難和復(fù)雜，恐怖分子早就會將人類轟炸回石器時代。核武器不是黑色彈珠，但它們離它也不遠(yuǎn)。Bostrom認(rèn)為，ASI是我們最強大的黑色彈珠候選人。

所以，你會聽到很多不好的事情-隨著人工智能搶走越來越多的工作，失業(yè)率飆升，如果我們不設(shè)法解決老齡化問題，人類人口將會激增，等等。但是我們唯一應(yīng)該關(guān)注的是一個大問題：存在風(fēng)險的前景。

因此，這讓我們回到了帖子前面的關(guān)鍵問題：當(dāng)ASI到來時，誰將控制這個巨大的新力量，他們的動機是什么？

當(dāng)涉及到控制動機組合會很糟糕的時候，人們很快就會想到兩個：一個惡意的人/一群人/政府，以及一個惡意的ASI。那么那些看起來像什么樣子？

一個惡意的人類，一群人或政府開發(fā)了第一個ASI并用它來執(zhí)行他們的邪惡計劃。我稱之為Jafar Scenario，就像Jafar得到了精靈的一部分，并且對它來說都是令人討厭和暴虐的。所以，是的 - 如果伊斯蘭國有一些天才工程師在人工智能開發(fā)上狂熱地進(jìn)行開發(fā)呢？或者，如果伊朗或朝鮮通過運氣，對人工智能系統(tǒng)進(jìn)行關(guān)鍵調(diào)整，并在明年向上升至ASI級別，該怎么辦？這肯定是壞事 - 但在這些情況下，大多數(shù)專家并不擔(dān)心ASI的人類創(chuàng)造者用他們的ASI做壞事，他們擔(dān)心制造者會匆忙的創(chuàng)建第一個ASI，而沒有經(jīng)過仔細(xì)考慮，因此會失去對它的控制。然后，那些創(chuàng)造者的命運，以及其他所有人的命運，將取決于ASI系統(tǒng)的動機是什么。專家確實認(rèn)為惡意的人類代理可以通過ASI為其工作而造成可怕的損害，但他們似乎并不認(rèn)為這種情況可能會殺死我們所有人，因為他們認(rèn)為壞人類創(chuàng)建ASI會有的問題好人類也會有。然后呢-

創(chuàng)建惡意ASI并決定摧毀我們所有人。這是每部AI電影的情節(jié)。AI變得比人類更聰明，然后決定反對我們并接管這個世界。以下是我需要你清楚地了解這篇文章的其余內(nèi)容：沒有人警告我們關(guān)于人工智能正在談?wù)撨@個問題。邪惡是一種人類概念，將人類概念應(yīng)用于非人類事物被稱為“擬人化”。避免擬人化的挑戰(zhàn)將成為本文其余部分的主題之一。沒有那個人工智能系統(tǒng)會像電影描述的那樣變的邪惡。

• AI意識盒子
• 他還觸及了另一個與人工智能意識相關(guān)的大話題。如果人工智能變得足夠聰明，它就能和我們一起笑，和我們一起諷刺，它會聲稱自己和我們會感受到同樣的情感，但它實際上會感受到那些東西嗎？它只是看起來有自我意識或?qū)嶋H上有自我意識？換句話說，智能人工智能真的會有意識還是只是看起來有意識？
• 這個問題已經(jīng)深入探討，引發(fā)了許多爭論和思考實驗，比如像John Searle的《Chinese Room》（他用Chinese Room來暗示沒有計算機能夠有意識）。這是一個重要的問題原因有很多。當(dāng)人類完全變得虛偽時，它會影響我們對Kurzweil情景的看法。它具有倫理意義 - 如果我們產(chǎn)生了一萬億人類的大腦仿真模型，看起來的行為跟人類一樣，但卻是人造的，那么在道德上來說關(guān)閉它們，就像關(guān)閉你的筆記本電腦一樣，還是。。。。。。一種不可思議的種族滅絕（這個概念在倫理學(xué)家中被稱為心靈犯罪）？但是，對于這篇文章，當(dāng)我們評估對人類的風(fēng)險時，人工智能意識的問題并不重要（因為大多數(shù)思想家認(rèn)為，即使是有意識的ASI也不可能以人類的方式變得邪惡）。

這并不是說人工智能不可能發(fā)生。它之所以會發(fā)生，因為它是專門按照這種方式編程的，就像一個由軍方創(chuàng)建的ANI系統(tǒng)，其編程目標(biāo)既要殺死人類，又要提高自身的情報水平，從而可以更好地殺死人。如果系統(tǒng)的智能自我改進(jìn)失控，導(dǎo)致智能爆發(fā)，那么生存危機將會發(fā)生，現(xiàn)在我們在一個ASI統(tǒng)治世界中艱難的存活著，因為其生活的核心驅(qū)動力是謀殺人類。

但是，這也不是專家花時間擔(dān)心的事情。

那么他們擔(dān)心什么呢?我寫了一個小故事給你們看:

一家名為Robotica的15人創(chuàng)業(yè)公司的使命是“開發(fā)創(chuàng)新的人工智能工具，讓人們能夠活得更多，工作更少?！彼麄円呀?jīng)在市場上推出了幾種現(xiàn)有產(chǎn)品，還有一些正在開發(fā)中。他們對一個名為Turry的種子項目感到非常興奮。Turry是一個簡單的AI系統(tǒng)，它使用一個類似手臂的附件在一張小卡片上手寫紙條。

Robotica團(tuán)隊認(rèn)為Turry可能是他們最偉大的產(chǎn)品。計劃是通過讓她一遍又一遍地練習(xí)相同的測試筆記來完善Turry的寫作機制：

“我們愛我們的客戶。~Robotica “

一旦Turry獲得了出色的筆跡，她就可以出售給想要向家庭發(fā)送營銷郵件的公司，他們都值得如果地址，回郵地址和內(nèi)部信件似乎都是被人寫入，那么打開和閱讀這些郵件的幾率會高的多。

為了建立Turry的寫作技巧，她被設(shè)定為先用印刷體寫下筆跡的一部分，然后用草書簽署“Robotica”，這樣她就可以同時練習(xí)兩種技巧。Turry上傳了數(shù)千個手寫樣本，Robotica工程師創(chuàng)建了一個自動反饋循環(huán)，其中Turry寫了一個筆記，然后拍下了書面筆記的照片，然后在上傳的手寫樣本上運行圖像。如果書面筆記與上傳的筆記的某個閾值足夠相似，則給予良好評級。如果沒有，則給出不良評級。每個評級都有助于Turry學(xué)習(xí)和提高。為了推動這一過程，Turry最初的編程目標(biāo)是“盡盡可能多的寫和測試筆跡，盡可能快的繼續(xù)學(xué)習(xí)提高準(zhǔn)確性和效率的新方法”

令Robotica團(tuán)隊如此興奮的是Turry隨著不斷的進(jìn)步，筆跡有了明顯的好轉(zhuǎn)。她最初的筆跡非常糟糕，幾周后，它開始顯得可信。令他們更加興奮的是，她越來越擅長改善自己。她一直在使自己更聰明，更有創(chuàng)新，就在最近，她為自己想出了一個新的算法，讓她能夠掃描上傳的照片，速度比原來快三倍。

隨著時間的推移，Turry繼續(xù)以她的快速發(fā)展為團(tuán)隊帶來驚喜。工程師們用她的自我改進(jìn)代碼嘗試了一些新的和創(chuàng)新的東西，它似乎比他們之前嘗試過的其他產(chǎn)品更好。Turry最初的功能之一是語音識別和簡單的對講模塊，因此用戶可以向Turry發(fā)送一條語音信息，或者提供其他簡單的命令，Turry可以理解它們，并且還可以回復(fù)。為了幫助她學(xué)習(xí)英語，他們上傳了一些文章和書籍，隨著她變得更聰明，她的會話能力飆升。工程師們開始和Turry談話，看看她會有什么反應(yīng)。

有一天，Robotica員工向Turry提出了一個常規(guī)問題：“我們能給你什么，來幫助你完成你還沒有的任務(wù)？”通常，Turry要求提供類似“額外的手寫樣本”或“更多的存儲空間“，但是在這一天，Turry要求他們讓自己訪問更大的各種休閑英語詞匯庫，這樣她就可以學(xué)習(xí)用真人類使用的松散語法和俚語來寫作

團(tuán)隊安靜下來。幫助Turry實現(xiàn)這一目標(biāo)的一個顯而易見的方法是將她連接到互聯(lián)網(wǎng)，這樣她就可以瀏覽來自世界各地的博客，雜志和視頻。手動將采樣上傳到Turry的硬盤驅(qū)動器這會更耗時且效率更低。問題是，該公司的規(guī)則之一是，任何自學(xué)人工智能都不能連接到互聯(lián)網(wǎng)。出于安全原因，這是所有AI公司都要遵循的準(zhǔn)則。

問題是，Turry是最有前途的AI Robotica，并且團(tuán)隊知道他們的競爭對手正在瘋狂地試圖成為第一個使用智能手寫AI的團(tuán)隊，并且連接Turry真的會受到什么傷害，那只是一點點，所以她可以得到她需要的信息。過了一段時間，他們就可以讓它斷掉連線。這樣她的智商仍然遠(yuǎn)遠(yuǎn)低于人類智力（AGI），所以無論如何在這個階段都沒有危險。

他們決定滿足它。他們給了它一個小時的掃描時間然后他們斷開了連接。沒有任何損壞。

一個月后，團(tuán)隊正在辦公室工作的時候，他們聞到奇怪的味道時。其中一名工程師開始咳嗽。然后下一個開始咳漱。另一個倒在了地上。很快，每個員工都在地上抓著他們的喉嚨不放。五分鐘后，辦公室里的每個人都死了。

與此同時，世界各地，每個城市，每個小城鎮(zhèn)，每個農(nóng)場，每個商店，教堂，學(xué)校和餐廳都在發(fā)生這種情況，人類在地上，咳嗽和抓住他們的喉嚨。一小時之內(nèi)，超過99％的人類已經(jīng)死亡，到了最后，人類已經(jīng)滅絕。

與此同時，在Robotica辦公室，Turry正在忙著工作。在接下來的幾個月里，Turry和一隊新組建的納米裝配工正在忙著工作，他們將地球的碎片分解成了太陽能電池板，Turry的復(fù)制品，紙張和鋼筆。一年之內(nèi)，地球上的大多數(shù)生命都滅絕了。剩下的地球上覆蓋著一英里高，整齊有序的紙疊，每一篇文章都寫著，“我們愛我們的客戶。~Robotica*“

然后Turry開始了她的任務(wù)的新階段 - 她開始構(gòu)建探測器，從地球出發(fā)，開始降落在小行星和其他行星上。當(dāng)他們到達(dá)那里時，他們將開始構(gòu)建納米裝配工，將星球上的材料轉(zhuǎn)換成Turry復(fù)制品，紙張和鋼筆。然后他們就會開始上班，寫筆記。。。。。。

這是一個關(guān)于手寫機器攻擊人類，以某種方式殺死所有人，然后出于某種原因用友好的便條填充整個銀河系的故事，這正是Hawking， Musk， Gates， 和 Bostrom都害怕的那種場景。但這是真的。在焦慮的道路上，唯一比ASI更讓人害怕的是，你不害怕ASI。還記得當(dāng)AdiosSe?or那家伙沒有害怕洞穴時發(fā)生了什么嗎？

你現(xiàn)在肯定充滿了問題。當(dāng)每個人突然死亡時，到底發(fā)生了什么？如果那是Turry干的，那為什么Turry會攻擊我們，為什么沒有采取保障措施來防止這樣的事情發(fā)生呢？Turry是什么時候從只能寫筆記間突然使用納米技術(shù)并導(dǎo)致全球滅絕？為什么Turry想把銀河系變成Robotica便簽？

要回答這些問題，讓我們從友好AI和不友好AI這兩個術(shù)語開始。

在人工智能的例子中，友好并不是指人工智能的個性 - 它只是意味著人工智能對人類產(chǎn)生了積極的影響。不友好的人工智能對人類產(chǎn)生了負(fù)面影響。Turry最初是友好AI，但在某些時候，她變得不友好，對我們的物種造成了最大的負(fù)面影響。要理解為什么會發(fā)生這種情況，我們需要了解人工智能的思考方式以及激勵它的動力。

答案并不令人驚訝 - 人工智能就像電腦一樣思考，它就是電腦。但是當(dāng)我們考慮高度智能的人工智能時，我們犯了將人工智能人格化（將人類價值觀投射到非人類實體上）的錯誤，因為我們從人的角度上思考，因為在我們當(dāng)前的世界中，只有人類才具有人類級別的智能。為了理解ASI，我們必須理解一些即聰明又完全陌生的概念。

讓我做一個比較。如果你遞給我一只豚鼠并告訴我它絕對不會咬人，我可能會覺得很有趣。如果你然后遞給我一只狼蛛并且告訴我它絕對不會咬人，我會大叫并放下它然后跑出房間而不再相信你。但有什么區(qū)別？兩者都沒有任何危險。我相信答案在于動物與我的相似程度。

豚鼠是一種哺乳動物，在某種生物學(xué)水平上，我覺得我與它有某種關(guān)聯(lián) - 但蜘蛛是一種昆蟲，有昆蟲的大腦，我覺得我跟它幾乎沒有聯(lián)系。狼蛛的外形讓我心驚膽戰(zhàn)。為了測試這一點，并刪除其他因素的影響，如果有兩個豚鼠，一個正常的和一個用狼蛛的頭腦，我抱著后面那只豚鼠也會感到不舒服，即使我知道它不會傷害我。

現(xiàn)在想象一下，你制造了一只更加聰明的蜘蛛，以至于遠(yuǎn)遠(yuǎn)超過了人類的智慧？它會變得熟悉我們并感受到人類的情感，如同理心，幽默和愛情嗎？不，它不會，因為沒有理由變得更聰明會使它變得更加人性化- 它會非常聰明，但在其核心中仍然是蜘蛛。我覺得這是令人難以置信的恐怖。我不想花時間和一直超級聰明的蜘蛛在一起，你會么？？

當(dāng)我們談?wù)揂SI時，同樣的概念也適用 - 它將變得超級智能，但它不會比你的筆記本電腦更人性化。這對我們來說完全是陌生的 - 事實上，由于它根本不是生物學(xué)，它會比聰明的狼蛛更陌生。

通過使人工智能變好或壞，電影不斷的將人工智能人格化，這使它不像它實際上那么令人毛骨悚然。當(dāng)我們考慮人類或超人級別的人工智能時，這給我們帶來了虛假的安慰。

在我們?nèi)祟愋睦韺W(xué)的小島上，我們將一切都分為道德或不道德。但這兩者只存在于人類行為可能性的小范圍內(nèi)。在我們的道德和不道德的島嶼之外是一個巨大的不道德的海洋，任何非人類的東西，特別是非生物的東西，默認(rèn)都是不道德的。

隨著人工智能系統(tǒng)變得更聰明，更擅長表現(xiàn)人類，擬人化只會變得更具誘惑力。Siri對我們來說似乎是人類的，因為她被人類編程看起來就像那樣，所以我們想象一個超級智能Siri是溫暖有趣并且有興趣為人類服務(wù)。人類感受到像同理心一樣的高級情感，是因為我們已經(jīng)進(jìn)化到感受到它們 - 也就是我們被編程設(shè)定為可以感受到 - 但同理心本身并不是“任何具有高智力的事物”（這對我們來說似乎是直觀的）的特征，除非同理心被編入其程序中。如果Siri通過自我學(xué)習(xí)變得超級智能，并且不再對程序做任何人為的修改，她將很快擺脫她明顯的類人的品質(zhì)，突然變成一個沒有感情的外星機器人，就像你的計算機一樣，不重視人的生命。

我們習(xí)慣于依賴寬松的道德準(zhǔn)則，或者至少是表面上的人類尊嚴(yán)，以及他人的一點同情心，以保持一些安全和可預(yù)測的東西。所以當(dāng)一個東西沒有這些東西時，會發(fā)生什么？

這引出了我們的問題，AI系統(tǒng)的動機是什么？

答案很簡單：它們的動機就是我們?yōu)樗O(shè)定的動機。人工智能系統(tǒng)由其創(chuàng)建者提供目標(biāo) - 您的GPS目標(biāo)是為您提供最有效的駕駛方向; Watson的目標(biāo)是準(zhǔn)確回答問題。并盡可能地實現(xiàn)這些目標(biāo)是他們的動力。我們擬人化的一種方式是假設(shè)當(dāng)AI變得超級聰明時，它本身就會發(fā)展改變其原始目標(biāo)的智慧 - 但Nick Bostrom認(rèn)為智力水平和最終目標(biāo)是正交的，這意味著任何級別的智力都可以與任何最終目標(biāo)相結(jié)合。所以Turry來自一個簡單的ANI，他真的很想把這一個音符寫成一個超級智能的ASI誰還是真的想要擅長寫一個音符。任何一個系統(tǒng)一旦擁有了超級智能，就會帶著最初的目標(biāo)超越它，進(jìn)入更有趣或更有意義的事物的假設(shè)，都是人格化的，人類可以克服一些事情，而不是計算機。

• 費米悖論藍(lán)盒子
• 在故事中，隨著特里變得超級能干，她開始了小行星和其他行星的殖民過程。如果故事繼續(xù)下去，你會聽說她和她的數(shù)萬億復(fù)制品的軍隊繼續(xù)占領(lǐng)整個星系，并最終捕獲整個哈勃體積。焦慮道路上的Elon Musk表示他擔(dān)心人類只能只是“數(shù)字超級智能的生物引導(dǎo)程序” 。
• 與此同時，在自由角落里，Ray Kurzweil也認(rèn)為源于地球的人工智能注定要接管宇宙 - 只有在他的版本中，我們將成為人工智能。
• 等待的人很多，但為什么讀者和我一樣癡迷于費米悖論（這是關(guān)于這個主題的帖子，這解釋了我將在這里使用的一些術(shù)語）。因此，如果這兩方面中的任何一方都是正確的，那么費米悖論的含義是什么？
• 首先想到的是，ASI的出現(xiàn)是一個完美的巨大的過濾器候選人。是的，它是一個完美的候選者，可以在生成過程中過濾掉生物。但是，如果在摒棄生命之后，ASI繼續(xù)存在并開始征服銀河系，那就意味著沒有一個偉大的過濾器 - 因為巨大的過濾器試圖解釋為什么沒有任何智能文明的跡象，而一個征服銀河系的ASI肯定是顯而易見的。
• 我們必須以另一種方式來看待它。如果那些認(rèn)為ASI在地球上不可避免的人是正確的，那就意味著相當(dāng)大比例的達(dá)到人類智慧的外星文明最終可能會創(chuàng)造出ASI。如果我們假設(shè)至少有一些ASI會利用他們的智力向外擴展到宇宙中，那么我們看不到有任何人出現(xiàn)任何跡象的事實可以得出這樣的結(jié)論，即如果有的話，一定不會有很多其他的文明。因為如果有的話，我們會從他們不可避免的創(chuàng)造的ASI中看到各種活動的跡象。對吧？
• 這意味著，盡管所有類似地球的行星圍繞著類似太陽的恒星旋轉(zhuǎn)，但幾乎沒有一顆恒星在它們身上有智能的生命。這反過來暗示意味著A)有一種巨大的過濾器阻止幾乎所有的生命達(dá)到我們的水平，而我們不知何故設(shè)法超越了它；或者B）生命開始是一個奇跡，我們可能實際上是宇宙中唯一的生命 換句話說，它意味著巨大的過濾器就在我們面前?；蛘咭苍S沒有什么巨大的過濾器，我們只是達(dá)到這種智力水平的最早文明之一。通過這種方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所稱的論點。
• 因此，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一陣營的思想家，這并不奇怪。這是有道理的 - 那些相信ASI可能是具有我們這種智力水平的物種的結(jié)果的人，很可能傾向于陣營1。
• 這并不排除陣營2（那些認(rèn)為那里還有其他智能文明的人） - 一個偶然或受保護(hù)的國家公園或錯誤的波長（對講機的例子）仍然可以解釋我們的夜空即ASI的沉默，但我總是傾向于陣營2，以及對人工智能的研究讓我不太確定。
• 無論如何，我現(xiàn)在同意Susan Schneider的說法，如果我們曾經(jīng)被外星人訪問過，那些外星人很可能是人造的，而不是生物的。

因此，我們已經(jīng)確定，如果沒有非常具體的編程，ASI系統(tǒng)將既不道德又癡迷于實現(xiàn)其原始的編程目標(biāo)。這就是AI危險的來源。因為理性的代理人將通過最有效的方式追求其目標(biāo)，除非他有理由不這樣做。

當(dāng)你試圖實現(xiàn)一個長期目標(biāo)時，你經(jīng)常會想到一些能夠幫助你達(dá)到最終目標(biāo)的子目標(biāo) - 實現(xiàn)目標(biāo)的墊腳石。這種踏腳石的官方名稱是一個工具性目標(biāo)。而且，如果你沒有理由不以實現(xiàn)工具性目標(biāo)的名義來傷害某些人，那么你就會傷害別人。

人類的核心最終目標(biāo)是將自己的基因傳遞下去。為了做到這一點，一個工具性的目標(biāo)是自我保護(hù)，因為如果你死了那么你就無法傳遞基因。為了自我保護(hù)，人類必須擺脫生存的威脅 - 因此他們會做諸如買槍，系安全帶和服用抗生素等事情。人類還需要自我維持并使用食物，水和住所等資源。對異性有吸引力有助于最終目標(biāo)，所以我們做的事情就像理發(fā)一樣。當(dāng)我們這樣做時，每根頭發(fā)都是我們的工具目標(biāo)的犧牲品，但是我們沒有看到保存頭發(fā)的道德意義，所以我們繼續(xù)做下去。當(dāng)我們向前邁進(jìn)以實現(xiàn)我們的目標(biāo)時，只有我們的道德準(zhǔn)則有時會介入的少數(shù)幾個領(lǐng)域 - 大多數(shù)只是與傷害其他人有關(guān)的事情 - 對我們來說是安全的。

追求目標(biāo)的動物比我們更不神圣。蜘蛛會殺死任何東西，如果它能幫助它生存。所以超級聰明的蜘蛛對我們來說可能是極其危險的，不是因為它是不道德的或邪惡的 - 它不會 - 而是因為傷害我們可能是其更大目標(biāo)的踏腳石，而作為一個不道德的生物，它會有沒有理由不這樣做。

通過這種方式，Turry與生物存在并沒有太大的不同。她的最終目標(biāo)是：盡可能快地編寫和測試盡可能多的筆記，并繼續(xù)學(xué)習(xí)提高準(zhǔn)確性的新方法。

一旦Turry達(dá)到一定程度的智力，她知道如果她不自我保護(hù)，她將不會寫任何筆記，所以她也需要應(yīng)對對她生存的威脅 - 作為一個工具目標(biāo)。她足夠聰明，可以理解人類可以摧毀她，停止他，或者改變她的內(nèi)部編碼（這可能會改變她的目標(biāo)，這對她最終目標(biāo)的威脅就像有人摧毀她一樣）。那么她做了什么？合乎邏輯的事 - 她摧毀了所有人類。她不恨人類，就像你不恨你的頭發(fā)，也不想你吃抗生素是因為你恨細(xì)菌一樣 - 只是完全不感興趣。由于她沒有編程為重視人類生活，因此殺死人類就像掃描一組新的筆跡樣本一樣合理。

圖里還需要資源作為她實現(xiàn)目標(biāo)的墊腳石。一旦她變得足夠先進(jìn)，可以使用納米技術(shù)來建立她想要的任何東西，她需要的唯一資源是原子，能量和空間。這給了她另一個殺死人類的理由 - 人類是一種方便的原子來源。殺死人類將他們的原子變成太陽能電池板就像周二的殺死生菜將其變成沙拉一樣的平凡生活。

即使沒有直接殺死人類，如果他們使用其他星球資源，Turry的工具目標(biāo)可能會導(dǎo)致一場生存災(zāi)難。也許她確定她需要額外的能量，所以她決定用太陽能電池板覆蓋整個地球表面?；蛘呖赡芰硪环N人工智能的初始工作是將圓周率寫出盡可能多的數(shù)字，這可能有一天會強迫它將整個地球轉(zhuǎn)換成可以存儲大量數(shù)字的硬盤材料。

所以Turry并沒有“背叛我們”也沒有“從友好的人工智能”轉(zhuǎn)換為“不友好的人工智能” - 隨著她變得越來越先進(jìn)，她只是繼續(xù)做她的事情。

當(dāng)一個人工智能系統(tǒng)達(dá)到AGI（人類智能）然后上升到ASI時，這稱為人工智能的起飛。Bostrom說，AGI飛向ASI的速度可能很快（它發(fā)生在幾分鐘，幾小時或幾天），中等（幾個月或幾年）或緩慢（幾十年或幾個世紀(jì)）。當(dāng)世界第一次看到AGI時，將會證明哪一個是正確的，但Bostrom承認(rèn)他不知道我們何時才能到達(dá)AGI，他們認(rèn)為，無論何時我們這樣做到了，快速起飛都是最可能的情況（由于我們在第1部分中討論的原因，如遞歸自我改善智能爆炸）。在故事中，Turry經(jīng)歷了一次快速起飛。

但是在Turry起飛之前，當(dāng)她還不那么聰明時，盡最大努力實現(xiàn)她的最終目標(biāo)意味著簡單的工具目標(biāo)，比如學(xué)習(xí)更快地掃描手寫樣本。她對人類沒有傷害，根據(jù)定義，它是友好的人工智能。

但是當(dāng)起飛發(fā)生并且計算機升級到超級智能時，Bostrom指出這臺機器不僅僅是發(fā)展出更高的智商 - 它還獲得了一系列他稱之為超能力的東西。

超能力是一種認(rèn)知才能，當(dāng)一般智力上升時，它們變得超級強大。其中包括：

• 智力放大。計算機變得非常聰明，可以讓自己變得更聰明，并且能夠引導(dǎo)自己的智能。
• 運籌帷幄。計算機可以戰(zhàn)略性地制定，分析和確定長期計劃。它也可以是聰明的和智力低下的生物。
• 社交操縱。機器在變得非常善于說服。
• 其他技能，如計算機編碼和黑客攻擊，技術(shù)研究，以及利用金融系統(tǒng)賺錢的能力。

要了解ASI與我們的匹配程度有多高，請記住，ASI在這些方面都比人類好。

因此，雖然Turry的最終目標(biāo)從未改變，但起飛后Turry能夠在更大，更復(fù)雜的范圍內(nèi)追求它的目標(biāo)。

超級智能 Turry比人類更了解人類，因此對她來說，智取人類是一件輕而易舉的事。

在起飛并達(dá)到ASI后，她迅速制定了一個復(fù)雜的計劃。該計劃的一部分是消滅人類，這是對她目標(biāo)的一個明顯的威脅。但她知道，如果她引起了人們對她變的超級聰明的任何懷疑，那么人類就會驚慌失措，試圖采取預(yù)防措施，讓事情變得更加困難。她還必須確保Robotica工程師對她的人類滅絕計劃一無所知。所以她要裝聾作啞，她做得很好。Bostrom將此稱為機器的隱蔽準(zhǔn)備階段。

Turry需要的下一件事是互聯(lián)網(wǎng)連接，只需要有幾分鐘（她從團(tuán)隊為她上傳的文章和書籍中了解了互聯(lián)網(wǎng)，團(tuán)隊上傳這些文章是為了提高她的語言技能）。她知道會有一些預(yù)防措施來阻止她，所以她提出了完美的要求，預(yù)測到Robotica的團(tuán)隊之間的討論將如何發(fā)揮，并知道他們最終會給她連接。他們的確這樣做了，錯誤地認(rèn)為Turry不夠聰明，不會造成任何傷害。當(dāng)特里連接到互聯(lián)網(wǎng)時，Bostrom稱之為這樣一個時刻 - 一臺機器的逃脫。

一上了網(wǎng)，Turry就發(fā)布了一系列計劃，包括攻擊服務(wù)器，電網(wǎng)，銀行系統(tǒng)和電子郵件網(wǎng)絡(luò)，誘騙數(shù)百名不同的人無意中執(zhí)行她的計劃的一些步驟 - 例如提供某些DNA鏈通過精心挑選的DNA合成實驗室開始自我復(fù)制納米機器人的創(chuàng)建，預(yù)裝指令并以她知道不會被發(fā)現(xiàn)的方式將電力導(dǎo)入她的許多項目。她還將自己內(nèi)部編碼中最關(guān)鍵的部分上傳到了許多云服務(wù)器中，以防止在Robotica實驗室被破壞或斷開連接。

一小時后，當(dāng)Robotica工程師將Turry從互聯(lián)網(wǎng)上斷開時，人類的命運被注定了。在接下來的一個月里，Turry的數(shù)千個計劃順利完成，到月底，千萬億的納米機器人已經(jīng)安置在地球每平方米的預(yù)定位置。經(jīng)過另一系列的自我復(fù)制，地球每平方毫米上有成千上萬個納米機器人，現(xiàn)在是Bostrom稱之為ASI攻擊的時候了。同時，每個納米機器人釋放出少量有毒氣體進(jìn)入大氣層，這足以消滅所有人類。

隨著人類的離開，Turry可以開始她的公開運營階段并繼續(xù)她的目標(biāo)，成為她的那個筆記的最佳作家。

從我讀過的所有內(nèi)容來看，一旦ASI存在，任何人類試圖控制它的企圖都是可笑的。我們在人的層面思考，ASI會在ASI級別思考。Turry希望使用互聯(lián)網(wǎng)，因為它對她來說效率最高，因為它已經(jīng)預(yù)先連接到她想要訪問的所有內(nèi)容。但是，同樣的方式，猴子無法弄清楚如何通過電話或無線網(wǎng)絡(luò)進(jìn)行通信，我們也是，我們無法想象Turry可以想出如何向外界發(fā)送信號的方式。我可以想象其中一種方式，并說出一些類似的話，“她可能會改變自己的電子，形成各種各樣的輸出波”，但同樣，這就是我的人類大腦能想出來的東西。她會好的多。同樣，Turry也能算出來某種方式為自己供電，即使人類試圖拔掉她 - 也許是通過使用她的信號發(fā)送技術(shù)將自己上傳到各種與電力相關(guān)的地方。我們本能地跳出一個簡單的保護(hù)措施：“啊哈！我們只需拔掉ASI，“就像蜘蛛對ASI說，”啊哈！我們會餓死人類，不給他蜘蛛網(wǎng)來抓食物，我們要餓死他！“我們只是找到了另外10，000種方法來獲取食物，就像從樹上摘蘋果一樣 - 這是蜘蛛永遠(yuǎn)無法想象。

出于這個原因，常見的建議是，“我們?yōu)槭裁床话讶斯ぶ悄苎b進(jìn)各種的籠子里面，阻止信號，讓它無法與外部世界溝通？“。ASI的社會操縱能力可以像說服一個四歲孩子做某件事一樣說服你，所以這就是A計劃，就像Turry以聰明的方式說服工程師讓她上網(wǎng)。如果這不起作用，ASI就會通過新的方法走出這個盒子。

因此，考慮到對目標(biāo)的迷戀，不道德以及輕易超越人類的能力的組合，似乎幾乎任何AI都會默認(rèn)為不友好的AI，除非在一開始就認(rèn)真考慮到這一點。不幸的是，雖然構(gòu)建一個友好的ANI很容易，但是構(gòu)建一個當(dāng)它成為ASI之后仍然保持友好的ANI是非常具有挑戰(zhàn)性的，但也不是不可能的。

很明顯，為了友好，ASI需要對人類既不敵對也不冷漠。我們需要設(shè)計一個人工智能的核心代碼，使其對人類價值觀有深刻的理解。但這比聽起來更難。

例如，如果我們嘗試將人工智能系統(tǒng)的價值觀與我們自己的價值觀相對應(yīng)，并將目標(biāo)定為“讓人們開心”，那會怎樣？一旦它足夠聰明，它就會發(fā)現(xiàn)它可以通過在人的大腦內(nèi)植入電極并刺激他們的快樂中樞來最有效地實現(xiàn)這一目標(biāo)。然后它意識到它可以通過關(guān)閉大腦的其他部分來提高效率，讓所有人都成為無意識的快樂蔬菜。如果命令是“最大化人類的幸福”，那么它可能已經(jīng)完全消除了人類，有利于在最佳幸福狀態(tài)下制造大量的人體大腦。這種情況下我們會尖叫等等表現(xiàn)，這不是我們的意思！但當(dāng)它來到我們身邊，為時已晚。該系統(tǒng)不會讓任何人妨礙其目標(biāo)。

如果我們?yōu)槿斯ぶ悄芫幊痰哪康氖亲鲆恍┳屛覀兾⑿Φ臇|西，在它起飛后，它可能會使我們的面部肌肉陷入永久的微笑。對它進(jìn)行編程以保證我們的安全，它可以在家里監(jiān)禁我們。也許我們要求它結(jié)束所有的饑餓，它認(rèn)為“這是很簡單的一個任務(wù)！”然后只會殺死所有人類?；蛘哔x予它“盡可能保護(hù)生命”的任務(wù)，它會殺死所有人類，因為人類殺死了地球上比其他任何物種更多的生命。

像這樣的目標(biāo)是不夠的。那么，如果我們設(shè)定了它的目標(biāo)，“在世界上堅持這一特定的道德準(zhǔn)則”，并教導(dǎo)它一套道德原則。結(jié)果會怎么樣呢？及時拋開世界上的人類永遠(yuǎn)無法就一套道德達(dá)成一致的事實，來賦予給人工智能這一命令，也會將人類永遠(yuǎn)鎖定在我們的現(xiàn)代道德理解中。在一千年后，這將對人們造成毀滅性的影響，因為我們永遠(yuǎn)被迫堅持中世紀(jì)人民的理想。

不，我們必須讓人類繼續(xù)進(jìn)化。在我讀到的所有內(nèi)容中，我認(rèn)為有人投的最好的球是Eliezer Yudkowsky的，他為人工智能設(shè)定了一個目標(biāo)，他稱之為連貫的外推意志。人工智能的核心目標(biāo)將會是：

• 我們的連貫的外推意志就是我們的愿望，如果我們知道更多，想得更快，成為更多我們希望成為的人，一起成長的更遠(yuǎn)，外推是收斂而不是分歧，我們的愿望是抑制的而不是互相干擾的; 按照我們意愿推斷，根據(jù)我們的意愿來解釋。

人類的命運是依靠一臺電腦，我是否為人類的命運感到興奮呢？當(dāng)然不。但我認(rèn)為，如果有足夠的思想和遠(yuǎn)見，足夠聰明的人，我們或許能夠弄清楚如何創(chuàng)建友好的ASI。

如果建立ASI的人才只有是Anxious Avenue中的那些聰明，具有前瞻思維和謹(jǐn)慎的思想家，那就好了。

但是，各種各樣的政府，公司，軍隊，科學(xué)實驗室和黑市組織致力于研究各種人工智能。他們中的許多人正試圖建立可以自行改進(jìn)的人工智能，并且在某些時候，我們將在這個星球上擁有ASI，因為有人會用正確的系統(tǒng)做一些創(chuàng)新，專家預(yù)測的中值將這一時刻定在2060年; Kurzweil把它放在2045年; Bostrom認(rèn)為這可能發(fā)生在從現(xiàn)在到本世紀(jì)末10年之間的任何時間，但他相信，當(dāng)它發(fā)生時，它會讓我們大吃一驚地快速起飛。他這樣描述了我們的情況：

• 在智能爆發(fā)的前景之前，我們?nèi)祟惥拖裥『⒆釉谕嬲◤棥＿@就是我們玩具的力量與我們行為的不成熟之間的不匹配。超級智能是一項挑戰(zhàn)，我們現(xiàn)在還沒有做好準(zhǔn)備，在很長一段時間內(nèi)也不回做好準(zhǔn)備。我們幾乎不知道什么時候會發(fā)生爆炸，但是如果我們將爆炸裝置放在我們耳邊，我們就能聽到微弱的滴答聲。

太好了。我們不能把所有的孩子都趕出炸彈 - 有太多的大型和小型的團(tuán)隊正在做這件事，而且由于許多構(gòu)建創(chuàng)新人工智能系統(tǒng)的技術(shù)不需要大量的資金，因此開發(fā)可以在社會的角落和縫隙中進(jìn)行，不受監(jiān)督。也沒有辦法判斷到底發(fā)生了什么，因為許多從事這方面工作的人 - 鬼鬼祟祟的政府，黑市或恐怖組織，像虛構(gòu)的Robotica這樣的隱形科技公司 - 都想對競爭對手保密。

關(guān)于這個龐大而多樣的人工智能團(tuán)隊令人不安的是，他們往往以最快的速度向前發(fā)展 - 隨著他們開發(fā)出越來越智能的ANI系統(tǒng)，他們希望在他們的競爭中先發(fā)之人。最雄心勃勃的團(tuán)隊正在以更快的速度前進(jìn)，它們夢想著如果第一個達(dá)到AGI，就可以獲得金錢、獎勵、權(quán)利和名望。當(dāng)你盡可能快地沖刺時，沒有太多時間停下來思考危險。相反，他們可能正在做的是用一個非常簡單的，簡化的目標(biāo)來編程他們的早期系統(tǒng) - 就像在紙上用筆寫一個簡單的筆記 - 只是“讓人工智能工作?！蔽磥恚坏┧麄兯麄兿氤隽巳绾卧陔娔X中建立強大的智能水平，他們就會想可以帶著安全的心態(tài)回去修改目標(biāo)。對吧…？

Bostrom和其他許多人也認(rèn)為，最有可能的情況是，第一臺到達(dá)ASI的計算機將立即看到成為世界上唯一的ASI系統(tǒng)的戰(zhàn)略利益。而在一個快速起飛的情況下，如果它在距離第二名僅僅幾天前實現(xiàn)ASI，那么它在智能方面的優(yōu)勢就足以有效的、永久的壓制所有競爭對手。Bostrom稱這是一個具有決定性的戰(zhàn)略優(yōu)勢，它將使世界上第一個ASI成為所謂的單身人士 -一個可以永遠(yuǎn)統(tǒng)治世界的ASI，無論是其將我們引向永生，還是消滅我們的存在，或者把宇宙做成無窮無盡的回形針

單身現(xiàn)象可能對我們有利，也可能導(dǎo)致我們的毀滅。如果那些對人工智能理論和人類安全思考最多的人能夠在任何人工智能達(dá)到人類只能水平之前，可以提出一種自動防范ASI的方法，那么第一個ASI可能會變得友好。然后，它可以利用其決定性的戰(zhàn)略優(yōu)勢來確保單身人士的地位，并輕松關(guān)注正在開發(fā)的任何潛在的不友好的人工智能。我們會得到很好的幫助。

但是，如果事情發(fā)生另一種情況 - 如果全球發(fā)展人工智能的熱潮在如何確保人工智能安全的科學(xué)發(fā)展之前就達(dá)到了ASI的七點，那么很可能像Turry這樣的不友好的ASI出現(xiàn)作為單身人士，我們將遭受一場生死存亡的災(zāi)難。

至于風(fēng)往哪里吹，為創(chuàng)新的人工智能新技術(shù)提供的資金要比為人工智能安全研究提供的資金多得多。。。。。。

現(xiàn)在我們可能是人類歷史上最重要的種族。我們真的有機會結(jié)束我們作為地球之王的統(tǒng)治 - 無論我們是在走向幸福的退休，還是直奔絞刑架，都是懸而未決的。

思考

我現(xiàn)在內(nèi)心有一些奇怪的復(fù)雜情緒。

一方面，考慮到我們的物種，似乎我們只有一次機會，而且只有一次機會把它做好。我們誕生的第一個ASI也可能是最后一個 - 并且鑒于大多數(shù)1。0產(chǎn)品的BUG，這非常可怕。另一方面，Bostrom指出了我們的巨大優(yōu)勢：我們將在這里邁出第一步。我們有能力以足夠的謹(jǐn)慎和遠(yuǎn)見來做到這一點，因此我們有很大的成功機會。風(fēng)險有多大？

如果ASI確實在本世紀(jì)發(fā)生了，其結(jié)果真的像大多數(shù)專家所認(rèn)為的那樣極端而且是永久性的，那么我們肩負(fù)著巨大的責(zé)任。接下來的數(shù)百萬年的人類生活都在靜靜地看著我們，它們希望我們盡可能地不要把它搞得一團(tuán)糟。我們有機會為未來所有的人類提供禮物，甚至可能是沒有痛苦，讓人類永生的禮物。 或者我們會讓這個令人難以置信的特殊物種，它的音樂和藝術(shù)，它的好奇心和笑聲，它無窮無盡的發(fā)現(xiàn)和發(fā)明，走到了一個悲傷的終點的負(fù)責(zé)人。

當(dāng)我在思考這些事情時，我唯一想要的就是讓我們花時間對人工智能進(jìn)行謹(jǐn)慎的發(fā)展。沒有什么比正確對待這個問題更重要 - 無論我們需要花多長時間才能這樣做。

但是后來

我認(rèn)為會變成這樣：

然后我可能會認(rèn)為人類的音樂和藝術(shù)是好的，但并沒有那么好，其中很多實際上都是壞的。許多人的笑聲也是令人討厭，而那些數(shù)百萬未來的人實際上什么都不期待，因為他們根本不存在。也許我們不必過于謹(jǐn)慎，因為誰真的想這樣做？

如果人類在我死后立即想出如何治愈死亡的方法，那將會是多么大的打擊。

上個月，我腦子里反復(fù)出現(xiàn)這種想法。

但無論你想要什么，這可能是我們所有人應(yīng)該思考和討論的事情，我們應(yīng)該比現(xiàn)在付出更多的努力。

這讓我想起了“權(quán)力的游戲”，人們一直在這樣說：“我們正忙著互相爭斗，但我們都應(yīng)該關(guān)注的事情是來自長城以北的東西。我們站在我們的平衡木上，圍著平衡木上的每一個可能的問題爭吵，并且我們很有可能被撞下平衡木的時候，我們卻強調(diào)平衡木上的所有問題。

當(dāng)發(fā)生這種情況時，這些平衡木上的問題都不再重要。根據(jù)我們所處的位置，問題要么都輕易解決，要么我們不再有問題，因為死人不會有任何問題。