我發(fā)現(xiàn)我的數(shù)據(jù)可能被操縱了……

當(dāng)前，我們正目睹著一場(chǎng)數(shù)據(jù)被濫用的“大劇”。限制數(shù)據(jù)濫用、努力解決偏見數(shù)據(jù)和問題數(shù)據(jù)，正成為科技對(duì)社會(huì)產(chǎn)生影響的關(guān)鍵。

簡而言之，我認(rèn)為大家應(yīng)該重新考慮，安全、公平到底意味著什么。本文從三個(gè)方向來討論，在數(shù)據(jù)驅(qū)動(dòng)的世界中，我們的數(shù)據(jù)有可能被操縱。

操縱數(shù)據(jù)的原罪者——谷歌

1998年，兩個(gè)斯坦福畢業(yè)生決心著手解決主流搜索引擎存在的問題。

Sergey Brin和Larry Page合作撰寫了一篇論文，描述他們的網(wǎng)頁排序算法怎樣解決搜索結(jié)果中垃圾網(wǎng)頁過多的問題。他們的想法意義非凡，如今被人們認(rèn)為是谷歌創(chuàng)立的基石。但是就算這樣，也沒法阻止人們通過更先進(jìn)的算法來來干擾網(wǎng)絡(luò)數(shù)據(jù)。事實(shí)上，谷歌在后來發(fā)展的過程中，為了廣告插入也進(jìn)一步操控排名，在一定程度上阻礙了搜索引擎的進(jìn)一步優(yōu)化。

時(shí)光流轉(zhuǎn)到2003年，當(dāng)賓夕法尼亞參議員Rick Santorum公開將同性戀類比人獸交和戀童癖時(shí)，LGBT群體被激怒了。媒體Dan Savage呼吁讀者們做點(diǎn)什么以記住這個(gè)時(shí)刻，其中一位粉絲創(chuàng)建了一個(gè)網(wǎng)站，網(wǎng)站內(nèi)容中將Santorum這個(gè)名字與“肛交”一詞聯(lián)系到一起。令這位參議員不寒而栗的是，有人利用網(wǎng)民的力量，將網(wǎng)站鏈接推送到搜索引擎結(jié)果靠前的位置。

這種眾包形式的搜索引擎優(yōu)化行為被稱作“谷歌爆炸”，也是一種媒體炒作形式，旨在干擾數(shù)據(jù)和信息環(huán)境。

媒體炒作和網(wǎng)絡(luò)失真信息（封面),2017年3月，Jim Cooke繪制的插圖

媒體炒作并不新穎。正如許多人所知，宣傳和社交媒體營銷的界線通常是模糊的。除此以外，那些通過點(diǎn)贊、評(píng)論和訂閱量等公共信號(hào)宣傳產(chǎn)品特點(diǎn)的公司都熟知，任何被創(chuàng)造的系統(tǒng)都將成為娛樂、利益、政治、意識(shí)形態(tài)和權(quán)力游戲的舞臺(tái)，甚至連國會(huì)現(xiàn)在都在為此斗爭(zhēng)。

而除了這些已經(jīng)發(fā)生的，我們還正在面臨哪些數(shù)據(jù)被操縱的情況？我們又該如何應(yīng)對(duì)？

騙過網(wǎng)絡(luò)系統(tǒng)

如同搜索引擎，現(xiàn)在社交媒體成了一個(gè)全新的炒作目標(biāo)，吸引了從社交媒體營銷號(hào)到國家行為發(fā)言人的各類人群。干擾Twitter熱門話題或者Facebook新聞動(dòng)態(tài)成為許多人的嗜好。任何人只要5美金，幾乎在所有主要網(wǎng)站上都能輕而易舉地買到粉絲（關(guān)注者）、點(diǎn)贊數(shù)和評(píng)論量。背后的經(jīng)濟(jì)和政治動(dòng)機(jī)顯而易見，但除了這些勢(shì)力強(qiáng)大的水軍，還有一大群人毫無目標(biāo)地參與網(wǎng)絡(luò)攻擊。

例如，自Rick Astley的歌曲《Never Gonna Give You Up》推出時(shí)隔20年后，有這么一群人決定幫他再登歌曲排行榜首，目的并不是幫Rick Astley賺錢（盡管有此效果）。但通過這樣的方式，大量普通用戶學(xué)會(huì)了如何讓某些信息被病毒式傳播或者干擾網(wǎng)絡(luò)系統(tǒng)的方法。換句話說，他們學(xué)會(huì)了如何獲得注意力。通過這些行為，他們搞出了一套能夠造成嚴(yán)重后果的炒作策略。

一個(gè)炒作Rick Astley的例子

像“披薩門”這類的事件并非偶然，這是一群網(wǎng)民愚弄信息系統(tǒng)的產(chǎn)物。（注：披薩門是去年美國大選期間發(fā)生的陰謀論，懷疑希拉里競(jìng)選經(jīng)理被曝出的電子郵件中，包含利用一系列餐廳進(jìn)行人販子生意的暗語。這個(gè)陰謀論已經(jīng)數(shù)次被有關(guān)部門反駁和攻破。）他們創(chuàng)造了許多被稱做“馬甲”的跨平臺(tái)網(wǎng)絡(luò)虛假賬戶，這些賬戶巧妙地影響媒體和其他勢(shì)力團(tuán)體，引發(fā)他們對(duì)精心設(shè)定的問題、博文和網(wǎng)絡(luò)視頻的關(guān)注。這種事件的編造并不是為了讓媒體信以為真，而是讓這些媒體傻傻地通過大量自有宣傳渠道否定它。這樣就產(chǎn)生了“反向效應(yīng)”，那些不相信媒體的人認(rèn)定這其中必有一些陰謀論，從而鼓勵(lì)一些人自發(fā)調(diào)查。

接著就有鋪天蓋地的評(píng)論要求“打開窗口”——增加公共討論話題的尺度。媒體們被騙去散播問題事件。更有甚者，推薦引擎會(huì)被用于向問題事件的被動(dòng)接受者推送更多相關(guān)內(nèi)容。再舉個(gè)例子, 研究員Joan Donovan主要研究白人至上主義，工作之余，她打開Amazon、Netflix或是YouTube，每個(gè)網(wǎng)站都她推薦消費(fèi)新納粹主義音樂、視頻和其他周邊。一些激進(jìn)分子也知道如何變本加厲制造問題。不用觸犯Twitter的任何保護(hù)機(jī)制，那些人可以想方設(shè)法利用公司廣告內(nèi)容放大白人優(yōu)越主義思想，引發(fā)關(guān)注社會(huì)公平群體的憤怒。

總體來說，這些伎倆是對(duì)算法系統(tǒng)的手動(dòng)攻擊。但我們都知道，攻擊的方法一直在變化，不在僅僅是手動(dòng)。而現(xiàn)在，一切即將再次改變。

脆弱的訓(xùn)練集

訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)需要數(shù)據(jù)，而且是海量數(shù)據(jù)。盡管目前已經(jīng)建成了一批標(biāo)準(zhǔn)化語料庫，計(jì)算機(jī)科研人員、初創(chuàng)企業(yè)和大公司對(duì)于新的、差異化的數(shù)據(jù)的需求依然有增無減。

首當(dāng)其沖的問題就是所有數(shù)據(jù)都帶有偏見。從總體上看，人和社會(huì)的偏見反映得最為明顯。以當(dāng)下很紅的數(shù)據(jù)集ImageNet為例，人類根據(jù)形狀進(jìn)行分類的速度，遠(yuǎn)高于根據(jù)顏色進(jìn)行分類；受此影響，數(shù)據(jù)集最終會(huì)包含一些奇形怪狀的人造物體。

深度神經(jīng)網(wǎng)絡(luò)中的認(rèn)知心理學(xué)：形狀偏見的個(gè)案研究，2017年6月29日

在應(yīng)對(duì)社會(huì)偏見時(shí)，局面會(huì)變得更加混亂無章。Latanya Sweeney在谷歌上搜索自己的姓名時(shí)，驚訝地發(fā)現(xiàn)有廣告邀請(qǐng)她查詢自己是否有犯罪記錄。作為一名計(jì)算機(jī)科學(xué)家，她決定在系統(tǒng)上跑一批常見的白人名字和黑人名字，看看哪些名字會(huì)招來廣告。不出所料，招來這種刑事類產(chǎn)品的都是黑人名字。這并不是因?yàn)楣雀柚涝鯓印翱疵窒虏说?，而是因?yàn)樗阉饔脩粼谒阉骱谌诵彰麜r(shí)，點(diǎn)擊刑事類廣告的幾率更高。谷歌把“種族歧視”學(xué)了過來并“發(fā)揚(yáng)光大”，最終影響了全部用戶。

A和C顯示的是針對(duì)兩個(gè)人各自姓名出現(xiàn)的廣告，B和D表明該廣告暗示存在犯罪前科所根據(jù)的是姓名類型，而非就是此人的檔案

不論是對(duì)人進(jìn)行分類的數(shù)據(jù)還是由人進(jìn)行分類的數(shù)據(jù)，只要想以此為基礎(chǔ)建立系統(tǒng)，文化偏見都將成為巨大的挑戰(zhàn)。

不過還有一項(xiàng)新的挑戰(zhàn)正在日漸成型：散布在不同網(wǎng)絡(luò)中的人群和國家行為者。他們?cè)谏缃痪W(wǎng)絡(luò)上興風(fēng)作浪，搜索引擎對(duì)于相應(yīng)數(shù)據(jù)的關(guān)注度卻與日俱增，而各家公司正是用這些數(shù)據(jù)來訓(xùn)練、改進(jìn)系統(tǒng)的。

舉個(gè)例子，假設(shè)用Reddit和Twitter的數(shù)據(jù)來做訓(xùn)練。這些公司在API上表現(xiàn)得非常大方，計(jì)算機(jī)科學(xué)家們長期以來也從這里抓取了大量數(shù)據(jù)來訓(xùn)練各種模型，試圖理解自然語言、圍繞鏈接開發(fā)源語言、以及追蹤社會(huì)模式。他們訓(xùn)練各種模型來檢測(cè)抑郁癥、為新聞排序，并參與到會(huì)話當(dāng)中，但忽略了這些數(shù)據(jù)從一開始就不具有代表性。

絕大多數(shù)用這些API工程師都相信他們可以清潔抓到的數(shù)據(jù)，并去除所有的問題內(nèi)容，可事實(shí)并非如此。不論刪除多少特定的subreddits、推文種類，亦或是忽略包含問題詞語的內(nèi)容，這些操作都不會(huì)讓你在那些誠心找茬的人面前占據(jù)先機(jī)。

無數(shù)人或者組織用盡各種方式想要混淆公共數(shù)據(jù)，大公司的系統(tǒng)也在他們的目標(biāo)范圍之列。他們?cè)噲D通過低空飛行避開雷達(dá)監(jiān)管。如果你沒有準(zhǔn)備好相應(yīng)的系統(tǒng)，從戰(zhàn)略層面去應(yīng)對(duì)這些早有準(zhǔn)備繞開你精心制定的計(jì)劃的人，你簡直不堪一擊。這與意外或自然內(nèi)容無關(guān)，甚至也牽扯不到帶有文化偏見的數(shù)據(jù)。

如果你想要理解這到底是什么意思，不妨想想Nicolas Papernot和他的同事于去年發(fā)表的實(shí)驗(yàn)。為了深入掌握計(jì)算機(jī)圖像算法的弱點(diǎn)，他們決定改變交通停止標(biāo)志的圖形外觀，即使底層神經(jīng)網(wǎng)絡(luò)會(huì)將之解讀為放行標(biāo)志，但在肉眼看來它依然代表交通停止。想想看，這對(duì)于汽車來說意味著什么。如果分類標(biāo)準(zhǔn)能夠如此輕易地任人攻破，這項(xiàng)技術(shù)還能得到廣泛應(yīng)用嗎？

《攻擊機(jī)器黑匣子實(shí)用教程》，2017年3月19日。研究人員改變了第一行的圖像，以誤導(dǎo)神經(jīng)網(wǎng)絡(luò)，并導(dǎo)致了最后一行的錯(cuò)誤解讀

迄今為止，針對(duì)機(jī)器學(xué)習(xí)模型展開的最成功數(shù)據(jù)注入攻擊發(fā)生在研究領(lǐng)域。但我們也發(fā)現(xiàn)越來越多的人試圖在主流系統(tǒng)中制造混亂，他們目前還沒得手，但我們絕不能否認(rèn)他們還在學(xué)習(xí)和試探。

打造技術(shù)抗體

數(shù)十年來，很多公司都沒把安全漏洞當(dāng)回事，直到系統(tǒng)被突破的消息一次又一次登上頭條。在應(yīng)對(duì)這個(gè)新問題上，我們還要重蹈覆轍嗎？如果你正在構(gòu)建數(shù)據(jù)驅(qū)動(dòng)式的系統(tǒng)，你從現(xiàn)在就要開始考慮數(shù)據(jù)會(huì)以怎樣的方式、被誰污染，以實(shí)現(xiàn)何種目的。

測(cè)試在這個(gè)技術(shù)行業(yè)中已經(jīng)失去了生存的土壤，這個(gè)鍋社交媒體是逃不掉的。15年前，我們一頭扎向了“永久公開測(cè)試”，我們邀請(qǐng)公眾成為我們的質(zhì)保工程師。但是內(nèi)部QA遠(yuǎn)比找BUG要復(fù)雜，它需要將對(duì)抗思維融入到設(shè)計(jì)和研發(fā)過程中。當(dāng)搞破壞的人就隱藏在公眾之中時(shí)，請(qǐng)大家為系統(tǒng)找漏洞的效果就不盡如意了。

進(jìn)一步來說，當(dāng)前不論是誰，在沒動(dòng)機(jī)、沒渠道的情況下都沒法在私下里告知我們問題所在。有些記者會(huì)找到瞞天過海的方法，把系統(tǒng)變成新納粹主義的廣告，借此來嘲笑我們，也只有此時(shí)我們才會(huì)注意到問題所在。然而盡管如此，更多包藏禍心的行動(dòng)者開始和我們的數(shù)據(jù)玩起放長線釣大魚的游戲。

為什么在魔高一丈之前，我們不搶先道高一尺呢？樂觀的看，作為應(yīng)急措施，很多研究人員都將在機(jī)器學(xué)習(xí)系統(tǒng)的研發(fā)中融入了對(duì)抗思維。

以生成性對(duì)抗網(wǎng)絡(luò)（GANs）為例。那些對(duì)此不太熟悉的人可以這樣理解：你手上有兩個(gè)無人監(jiān)督的機(jī)器學(xué)習(xí)算法，前者負(fù)責(zé)為具有評(píng)估功能的后者生成內(nèi)容。前者試圖騙后者接受“錯(cuò)誤”信息，這樣操作旨在找到模型和數(shù)據(jù)之間的界限。我們需要更多這樣的研發(fā)項(xiàng)目。隨著對(duì)抗思維融入到模型搭建過程中，測(cè)試在研究領(lǐng)域也走到了盡頭。

白帽子-“高舉正義大旗”的黑客。舉例來說，測(cè)試系統(tǒng)的安全性或漏洞（圖片：CC Magicon, HU）

但這些研究的作用非常有限。我們需要積極主動(dòng)、目標(biāo)明確地構(gòu)建相應(yīng)文化，開展對(duì)抗測(cè)試、評(píng)估，并將之融入研發(fā)過程。我們需要構(gòu)建分析方法，評(píng)估數(shù)據(jù)集中的偏見。我們還需要開發(fā)相應(yīng)的工具來監(jiān)督系統(tǒng)的運(yùn)轉(zhuǎn)情況，這方面需要的精力毫不遜于模型最初的搭建階段。我的同事Matt Goerzen認(rèn)為除此之外，還需要有策略地邀請(qǐng)白帽子中的牛人介入到我們的系統(tǒng)之中，幫助我們查漏補(bǔ)缺。

技術(shù)行業(yè)已經(jīng)不再是一群極客的狂歡，不再是“想要做點(diǎn)不一樣的事情”那么簡單，它是經(jīng)濟(jì)和信息世界的重要基石。我們必須從戰(zhàn)略層面認(rèn)真思考，他人想要以何種方式操縱數(shù)據(jù)為非作歹。