出品 | CDA數(shù)據(jù)科學(xué)研究院

美國陸軍坦克大隊再次在中東作戰(zhàn)。它的坦克最近配備了基于計算機(jī)視覺的瞄準(zhǔn)系統(tǒng)，該系統(tǒng)采用了遙控?zé)o人機(jī)作為偵察兵。不幸的是，敵軍欺騙了視覺系統(tǒng)，認(rèn)為手榴彈閃光實際上是大炮射擊。坦克操作員向兩英里外的戰(zhàn)友開火。盡管美軍贏得了戰(zhàn)斗，但他們損失了6名士兵，5輛坦克和5輛戰(zhàn)車-全部來自友軍大火。旅長說：“我們的裝備致命，沒有錯誤的余地?！?/span>

這個故事是基于真實事件的。所涉及的坦克沒有自動計算機(jī)視覺系統(tǒng)，但總有一天會有。

欺騙與戰(zhàn)爭本身一樣古老。到目前為止，欺騙行動的目標(biāo)一直是人類。但是，機(jī)器學(xué)習(xí)和人工智能的加入為目標(biāo)機(jī)器開辟了一個全新的機(jī)會，欺騙人們。我們正在看到一個新的，不斷擴(kuò)大的欺騙時代。

機(jī)器學(xué)習(xí)的飛速發(fā)展使得能夠創(chuàng)建民用和軍用的新技術(shù)，從視頻和文本分類到復(fù)雜的數(shù)據(jù)分析和決策。但是，急于實施和部署包含高級機(jī)器學(xué)習(xí)組件的不安全系統(tǒng)會帶來危險的漏洞，邪惡的行為者會以我們才剛剛開始了解的方式利用這些漏洞。機(jī)器學(xué)習(xí)技術(shù)最有希望的應(yīng)用是決策支持系統(tǒng)，其中生命關(guān)鍵的決策基于對大量數(shù)據(jù)的快速分析。將欺騙手段引入這種類型的系統(tǒng)可能會帶來災(zāi)難性的后果，例如引起友好的射擊或?qū)⒉筷犓腿敕鼡簟３砷L中對機(jī)器學(xué)習(xí)的依賴及其對欺騙的敏感性對軍事行動具有深遠(yuǎn)的影響。

機(jī)器學(xué)習(xí)系統(tǒng)中的漏洞

必須認(rèn)識到機(jī)器學(xué)習(xí)技術(shù)中的固有漏洞是國家級的關(guān)鍵問題，應(yīng)引起國家級的重視。盡管似乎不可能消除所有漏洞，但可以緩解這些漏洞。例如，一種基本的緩解技術(shù)是確保操作員對系統(tǒng)的行為有清晰連續(xù)的了解，以便在出現(xiàn)問題時進(jìn)行某種類型的手動操作。作為另一個示例，在旨在學(xué)習(xí)和適應(yīng)其環(huán)境的系統(tǒng)中，應(yīng)在運(yùn)行期間進(jìn)行連續(xù)測試，以確保系統(tǒng)不會偏離軌道。還應(yīng)該要求操作人員進(jìn)行定期觀察或與系統(tǒng)交互，以防止操作人員陷入錯誤的安全感。研究機(jī)器學(xué)習(xí)系統(tǒng)的安全性可能并不流行，但是與實現(xiàn)它們的承諾一樣重要。機(jī)器學(xué)習(xí)的核心存在一個漏洞-操作員可能知道要編程學(xué)習(xí)什么系統(tǒng)，但是他們根本無法確定機(jī)器學(xué)習(xí)系統(tǒng)實際學(xué)習(xí)了什么。這使得該漏洞無法完全解決。

盡管可以通過不同的方式攻擊機(jī)器學(xué)習(xí)技術(shù)，但是所有人都試圖將系統(tǒng)欺騙成誤解，誤分類或錯誤的決策分析。檢測和反欺騙的工作還處于早期階段，目前缺乏扎實的理論基礎(chǔ)。

機(jī)器學(xué)習(xí)不安全的軍事意義

機(jī)器學(xué)習(xí)漏洞對國防部具有根本和深遠(yuǎn)的影響。五角大樓正在大力推動將機(jī)器學(xué)習(xí)整合到整個運(yùn)營過程中，以對抗主要競爭對手。這項工作始于2017年4月算法戰(zhàn)爭跨職能團(tuán)隊的建立。該團(tuán)隊的目標(biāo)是使用AI和機(jī)器學(xué)習(xí)技術(shù)來高速理解和整合來自不同來源的大量數(shù)據(jù)。高度自動化的數(shù)據(jù)收集和處理以最大程度地減少決策周期的愿景具有吸引力，并且具有使美國的技術(shù)領(lǐng)先于復(fù)雜對手的潛力。

在圍繞機(jī)器學(xué)習(xí)的希望和大肆宣傳之下，攻擊者之間不斷展開激烈的競爭，他們不斷尋找新的方法來愚弄，逃避和誤導(dǎo)機(jī)器學(xué)習(xí)系統(tǒng)，而防御者則試圖找到盲點并消除漏洞。由于機(jī)器學(xué)習(xí)系統(tǒng)固有的漏洞，這種動態(tài)將一直存在。實際上，隨著機(jī)器學(xué)習(xí)接管越來越多的任務(wù)，肯定會出現(xiàn)新的漏洞。

考慮現(xiàn)代戰(zhàn)場上對物流計劃和支持日益復(fù)雜的要求。機(jī)器學(xué)習(xí)的應(yīng)用將使軍隊在各種任務(wù)變得自動化并且效率和準(zhǔn)確性達(dá)到新的高度時，能夠積極主動地進(jìn)行預(yù)測。但是，對手可以嘗試欺騙這種系統(tǒng)，從而導(dǎo)致計劃者和運(yùn)營商犯下災(zāi)難性的并可能致命的后勤錯誤。

在當(dāng)前的發(fā)展?fàn)顟B(tài)下引入機(jī)器學(xué)習(xí)極大地增加了遭受攻擊的可能性，而對于了解如何進(jìn)行管理卻做得很少?，F(xiàn)在的問題是，采用機(jī)器學(xué)習(xí)的人（如美國國防部）如何管理它，以將其固有風(fēng)險降低到可接受的水平，同時又保持競爭力。

算法戰(zhàn)跨職能團(tuán)隊存在一個嚴(yán)重的缺陷-它沒有明確包含一項任務(wù)，即確定如何檢測和抵抗對手誤導(dǎo)和欺騙機(jī)器學(xué)習(xí)技術(shù)的嘗試。這是一個失去的機(jī)會。未來的所有工作都應(yīng)包括一項特定的任務(wù)，以識別和開發(fā)針對漏洞的緩解策略，這些漏洞是通過使用機(jī)器學(xué)習(xí)技術(shù)而唯一引入的。

這些錯誤中的某些錯誤是不可避免的，因為當(dāng)前對機(jī)器學(xué)習(xí)系統(tǒng)的漏洞缺乏全面的理論理解。這已經(jīng)得到研究界的認(rèn)可，并導(dǎo)致了國防高級研究計劃局（DARPA）和美國國家科學(xué)基金會等最近的研究投資。但是，這些努力還處于早期階段，而爭奪現(xiàn)場應(yīng)用程序中機(jī)器學(xué)習(xí)的競賽正在進(jìn)行中。

一些先前的經(jīng)驗說明了潛在的危險，并指出了可能的緩解措施。1988年11月，最早的計算機(jī)病毒之一莫里斯·沃爾姆（Morris Worm）在互聯(lián)網(wǎng)上造成了嚴(yán)重破壞。幾周后，卡內(nèi)基梅隆大學(xué)軟件工程學(xué)院成立了第一個計算機(jī)緊急響應(yīng)小組協(xié)調(diào)中心（CERT / CC），以幫助行業(yè)，學(xué)術(shù)界和政府管理網(wǎng)絡(luò)安全。那個模型很快被全世界復(fù)制了。在接下來的兩年中，事件響應(yīng)團(tuán)隊的數(shù)量成倍增加。但是，一年后，Wank Worm漏洞顯示團(tuán)隊未能在全球范圍內(nèi)進(jìn)行協(xié)調(diào)。結(jié)果就是創(chuàng)建了事件響應(yīng)和安全團(tuán)隊論壇（FIRST）1990年。其任務(wù)是協(xié)調(diào)和促進(jìn)全球事件響應(yīng)團(tuán)隊之間的協(xié)作與合作。US-CERT目前是美國國土安全部國家保護(hù)和計劃局的一部分，是FIRST成員，同時也是全球400多個類似組織的成員。

盡管FIRST及其所有成員都做出了英勇的努力，但美國海軍部長于2019年3月發(fā)布的《網(wǎng)絡(luò)安全準(zhǔn)備情況回顧》指出：“有許多不良行為者，

但是，中國和俄羅斯尤其以戰(zhàn)略方式進(jìn)行了努力，并為實現(xiàn)其目標(biāo)進(jìn)行了大規(guī)模執(zhí)行，而美國仍然措手不及，而且常常無力自衛(wèi)?！憋@然，美國面對有能力的對手愿意利用漏洞來發(fā)揮自己的優(yōu)勢。華盛頓應(yīng)該將網(wǎng)絡(luò)領(lǐng)域的經(jīng)驗教訓(xùn)應(yīng)用到機(jī)器學(xué)習(xí)中。

五角大樓應(yīng)如何管理機(jī)器學(xué)習(xí)安全性

聯(lián)合人工智能中心（JAIC），國防部人工智能（AI）卓越中心，國防部實驗室和DARPA一起已經(jīng)朝著正確的方向邁出了第一步。但是這些努力僅僅是一個開始。五角大樓不應(yīng)該重蹈覆轍，將軟件和網(wǎng)絡(luò)安全漏洞長期以來視作是事后才想到的，而不是一流的國家安全威脅。在開發(fā)和部署機(jī)器學(xué)習(xí)系統(tǒng)之前，開發(fā)緩解和管理安全問題的策略和技術(shù)應(yīng)該是當(dāng)務(wù)之急。機(jī)器學(xué)習(xí)安全性需要廣泛的組織支持以及系統(tǒng)且周到的資金。

FIRST等現(xiàn)有組織及其在全球的所有CERT成員都應(yīng)得到加強(qiáng)和擴(kuò)展。他們將需要通過直接解決由于引入機(jī)器學(xué)習(xí)技術(shù)而導(dǎo)致的計算機(jī)系統(tǒng)日益增加的脆弱性來做出自己的努力。經(jīng)典計算機(jī)安全漏洞被定義為“通過繞過其基礎(chǔ)安全機(jī)制導(dǎo)致數(shù)據(jù)，應(yīng)用程序，服務(wù)，網(wǎng)絡(luò)和/或設(shè)備的未授權(quán)訪問的任何事件”。然而，機(jī)器學(xué)習(xí)系統(tǒng)可以在沒有簡單地訪問系統(tǒng)被欺騙通過將其暴露于會欺騙它的外部輸入。例如，在最近的實驗中，場景中左輪手槍的簡單旋轉(zhuǎn)導(dǎo)致機(jī)器視覺系統(tǒng)將左輪手槍視為捕鼠器。這種類型的攻擊將超出當(dāng)今CERT人員的經(jīng)驗。因此，現(xiàn)有人員將必須補(bǔ)充新的專業(yè)知識，并且將需要其他研究議程來匹配因使用機(jī)器學(xué)習(xí)而產(chǎn)生的獨(dú)特漏洞。他們必須認(rèn)識到，盡管機(jī)器學(xué)習(xí)系統(tǒng)可以在許多方面超越人類的性能，但它們卻可能以人類無法想象的方式失敗。

一些用于管理機(jī)器學(xué)習(xí)安全性的方法將類似于它們已經(jīng)針對經(jīng)典軟件漏洞執(zhí)行的那些方法。這些措施應(yīng)包括使用紅色團(tuán)隊發(fā)現(xiàn)和修復(fù)潛在的安全漏洞，以及對在機(jī)器學(xué)習(xí)系統(tǒng)中發(fā)現(xiàn)的漏洞（包括安全漏洞，潛在的攻擊輸入和其他類型的利用）進(jìn)行機(jī)密報告。盡管對于機(jī)器學(xué)習(xí)系統(tǒng)實際學(xué)習(xí)到的東西肯定存在一些不確定性，但可以通過使用新型形式驗證來證明機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵特性來避免關(guān)鍵漏洞。

主動防御措施應(yīng)包括“白帽子”工作，以預(yù)測機(jī)器學(xué)習(xí)的進(jìn)展將如何實現(xiàn)更有效的系統(tǒng)攻擊。應(yīng)該有一個研究議程來發(fā)展對機(jī)器學(xué)習(xí)漏洞的全面理論理解。這種理解將適用于防御和緩解技術(shù)的發(fā)展。這些技術(shù)又將用于識別，開發(fā)和分發(fā)標(biāo)準(zhǔn)工具，以測試機(jī)器學(xué)習(xí)系統(tǒng)中的常見安全問題。還應(yīng)考慮潛在的與硬件相關(guān)的方法，例如將安全功能合并到特定于機(jī)器學(xué)習(xí)的硬件中，例如圖形處理單元，現(xiàn)場可編程門陣列，以及特定用途的集成電路（例如張量處理單元）（例如，防止復(fù)制，限制訪問，促進(jìn)活動審核等）。其他與硬件相關(guān)的措施應(yīng)包括確定設(shè)計具有安全功能的硬件的可行性以及推動采用此類硬件。

盡管我們正在采取積極步驟來解決機(jī)器學(xué)習(xí)系統(tǒng)的安全性問題，但是我們需要采取果斷行動，將對此類問題的考慮放在我們所有努力中的突出位置，而不是事后才想到。私營部門，學(xué)術(shù)界和政府都應(yīng)作為平等的伙伴，協(xié)調(diào)努力并相互支持。實現(xiàn)這一目標(biāo)的一種方法是加強(qiáng)和提高美國國家標(biāo)準(zhǔn)與技術(shù)研究院AI標(biāo)準(zhǔn)的知名度和重要性根據(jù)2019年2月11日第13859號行政命令創(chuàng)建的組織。NIST應(yīng)確保AI標(biāo)準(zhǔn)組織的成員包括來自代表性私營部門，學(xué)術(shù)機(jī)構(gòu)和政府組織（尤其是與公益相關(guān)的機(jī)構(gòu)，例如聯(lián)邦貿(mào)易委員會消費(fèi)者保護(hù)局， （衛(wèi)生和公共服務(wù)部等）作為其工作的組成部分。這將幫助NIST促進(jìn)私營部門，學(xué)術(shù)界和政府之間的關(guān)鍵互動。為了加強(qiáng)AI標(biāo)準(zhǔn)的工作，應(yīng)該建立機(jī)制以在影響公共安全和福利的情況下創(chuàng)建有關(guān)機(jī)器學(xué)習(xí)應(yīng)用程序的可靠性和安全性的可執(zhí)行標(biāo)準(zhǔn)。

工業(yè)界和學(xué)術(shù)界在機(jī)器學(xué)習(xí)研究與開發(fā)中處于領(lǐng)先地位。學(xué)術(shù)界需要工業(yè)界和政府的財政支持。政府需要行業(yè)和學(xué)術(shù)界來幫助制定需求，并開發(fā)機(jī)器學(xué)習(xí)應(yīng)用程序并將其部署到服務(wù)中。如果沒有整個國家的方法，我們將制造出巨大的漏洞，這些漏洞將使機(jī)器學(xué)習(xí)的優(yōu)勢相形見絀，并使它的收益難以捉摸。

結(jié)論

盡管在軍事行動中使用AI和機(jī)器學(xué)習(xí)的希望引人入勝，但這些系統(tǒng)的引入也帶來了許多新的漏洞。這些漏洞是機(jī)器學(xué)習(xí)的核心，不應(yīng)忽略。隨著機(jī)器學(xué)習(xí)系統(tǒng)在軍事行動中發(fā)揮著越來越重要的作用，它們作為欺騙目標(biāo)的重要性也在增加。攻擊者可以利用機(jī)器學(xué)習(xí)來欺騙和誤導(dǎo)，例如采用這種技術(shù)的各種決策支持，計劃和態(tài)勢感知系統(tǒng)。在軍事環(huán)境中，此類系統(tǒng)的錯誤結(jié)果可能導(dǎo)致戰(zhàn)場上的損失和人員傷亡。

現(xiàn)在是時候?qū)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)技術(shù)中的漏洞問題視為國家級的關(guān)鍵問題了。不可能消除所有漏洞，但可以緩解這些漏洞。欺騙的新時代即將來臨，我們必須承認(rèn)這一欺騙并采取相應(yīng)的行動-越早越好。