如果我們心存偏見，還能做好數(shù)據(jù)分析嗎

馬克·安德森(Marc Andreessen)的一句名言：“軟件正在吞噬整個(gè)世界?！备餍懈鳂I(yè)發(fā)現(xiàn)，分析對(duì)保持競(jìng)爭(zhēng)力至關(guān)重要。政府則發(fā)現(xiàn)，分析對(duì)履行政府義務(wù)至關(guān)重要。

我們可能會(huì)因?yàn)楹臀覀儞碛邢嗤?gòu)買或信用記錄的其他人曾經(jīng)開車不小心，而不是因?yàn)槲覀冏约涸?jīng)開車不小心，而在購(gòu)買汽車保險(xiǎn)時(shí)被收取更高的費(fèi)用。這就是偏見的本質(zhì)：假定一個(gè)人將像同類的其他人那樣行事。

計(jì)算領(lǐng)域的一條重要戒律，就是計(jì)算機(jī)不能改變?nèi)祟愗?zé)任。如果人類做某件事情是不合法或不道德的，那么人類創(chuàng)造的計(jì)算機(jī)程序做這件事情也是不合法或不道德的。但太多的人把計(jì)算機(jī)程序作為擋箭牌?！拔覀兪窃谑褂糜?jì)算機(jī)分析程序，所以沒有關(guān)系”，這就是數(shù)字版的“我只是按命令行事”。

在以色列電視喜劇《阿拉伯勞工》(Arab Labor)里，阿拉伯人主角沮喪地發(fā)現(xiàn)，他經(jīng)常在檢查站被攔下。他問一位以色列朋友，如何避免這種情況。朋友建議他買一輛特定牌子和型號(hào)的汽車。阿拉伯人照做了。神奇的是，他開始順利通過檢查站，再也沒有受到騷擾。面對(duì)預(yù)測(cè)分析，會(huì)有很多人尋找那輛能夠讓自己度過困境的“好車”。

原文翻譯：

新聞?dòng)浾吆驼咧贫ㄕ哒凉u漸意識(shí)到一個(gè)問題，某些最有前途、最強(qiáng)大的計(jì)算工具存在巨大的缺陷。隨著預(yù)測(cè)分析進(jìn)入越來越多的領(lǐng)域——推送廣告;開拓新市場(chǎng);作出重要決定，比如讓誰得到貸款，讓誰得到新工作，甚至是把誰送進(jìn)監(jiān)獄和暗殺誰這樣的倫理道德決定——某些特定群體遭受歧視和偏見的跡象日益增多。

本文著重探討分析中這種普遍趨勢(shì)的技術(shù)和社會(huì)層面。我研究了分析在執(zhí)行過程中為什么難以做到公平公正，以及這說明分析處于怎樣的社會(huì)背景。關(guān)于這個(gè)話題，美國(guó)計(jì)算機(jī)協(xié)會(huì)(ACM)舉辦的一場(chǎng)研討會(huì)和我圍繞這場(chǎng)研討會(huì)所做的研究為我提供了一些有用見解。

分析無處不在

預(yù)測(cè)分析似乎證實(shí)了馬克·安德森(Marc Andreessen)的一句名言：“軟件正在吞噬整個(gè)世界。”各行各業(yè)發(fā)現(xiàn)，分析對(duì)保持競(jìng)爭(zhēng)力至關(guān)重要。政府則發(fā)現(xiàn)，分析對(duì)履行政府義務(wù)至關(guān)重要。這些壓力推高了數(shù)據(jù)科學(xué)家(數(shù)據(jù)科學(xué)不只是統(tǒng)計(jì)學(xué)，但擁有深厚的統(tǒng)計(jì)學(xué)背景是必要條件)的薪水，并且使得市場(chǎng)調(diào)研公司Gartner作出了數(shù)據(jù)科學(xué)家將大量短缺的預(yù)測(cè)。

分析(更準(zhǔn)確地說是模擬)甚至在近期熱門電影《薩利機(jī)長(zhǎng)》(Sully)中扮演了重要角色，但基本上是反派。該片說明了人類社會(huì)日益依賴算法的一個(gè)最令人不安的方面：身居高位、權(quán)力巨大的政策制定者有時(shí)會(huì)讓算法替他們作出判斷，而他們根本不明白算法的運(yùn)行機(jī)制和可能造成的后果。

在《薩利機(jī)長(zhǎng)》中，調(diào)查員把一條事關(guān)重大的錯(cuò)誤信息輸入系統(tǒng)，還用不切實(shí)際的假設(shè)情境來訓(xùn)練系統(tǒng)。當(dāng)這些計(jì)算的受害者對(duì)模擬背后的假設(shè)情境提出質(zhì)疑時(shí)，調(diào)查員自鳴得意地說：“我們運(yùn)行了20次模擬!”他們沒有意識(shí)到，這20次模擬都是建立在同樣的錯(cuò)誤假設(shè)之上，將會(huì)得出同樣的錯(cuò)誤結(jié)論。

當(dāng)受害者要求查看詳細(xì)的輸入數(shù)據(jù)時(shí)，他們打官腔拒絕了這一要求。雖然《薩利機(jī)長(zhǎng)》可能精心安排了事件背后的一些事實(shí)，但對(duì)于分析在現(xiàn)代生活中的使用，該片為我們提供了很多經(jīng)驗(yàn)教訓(xùn)。

需要指出的是，分析可以幫助作出正確決策。在我參加ACM的那場(chǎng)研討會(huì)期間，我的信用卡提供商進(jìn)行的分析發(fā)現(xiàn)，有人竊取了我的信用卡信息，試圖盜用我的卡。他們的專家分析系統(tǒng)立刻凍結(jié)了這張卡，沒有造成金錢損失。雖然在旅行途中發(fā)現(xiàn)我的卡被凍結(jié)，給我?guī)砹瞬槐悖疫€是感激那些保護(hù)了我和銀行的分析工具。

使用分析的大多數(shù)公司希望通過減少主觀性來減少偏見。偏見一直都存在，不需要計(jì)算機(jī)。越來越多的研究表明，工作面試無法有效地判定誰能做好這份工作，原因主要在于我們面對(duì)面評(píng)估應(yīng)聘者時(shí)作出的倉(cāng)促?zèng)Q定，這很容易受到內(nèi)隱偏見的影響。

對(duì)大腦運(yùn)作的研究顯示，白人和亞洲人在潛意識(shí)里對(duì)黑人抱有根深蒂固的不信任感，這使得改善警察執(zhí)法實(shí)踐的努力面臨著更大的困難(舉個(gè)例子)。偏見很早就開始影響人們的生活。黑人學(xué)生和白人學(xué)生在學(xué)校里做出同樣的違規(guī)行為，黑人學(xué)生更容易受到處罰。我們從小就受到由來已久的偏見影響。

不幸的是，預(yù)測(cè)分析常常重現(xiàn)社會(huì)的偏見，因?yàn)樗鼈兊膭?chuàng)造者是帶有偏見的人，或者因?yàn)樗鼈兪褂脦в衅姷臍v史數(shù)據(jù)進(jìn)行訓(xùn)練。

一個(gè)廣為人知、無可爭(zhēng)辯的例子來自于拉坦婭·斯威尼(latanya sweeney)在2013年所做的研究。斯威尼是著名的隱私研究員，她最為人所知的，是證明了公共記錄可以被用來揭露美國(guó)馬薩諸塞州州長(zhǎng)威廉·維爾德(William Weld)的醫(yī)療信息。這促使健康隱私法律作出了重大修改。

她在2013年進(jìn)行的研究顯示，在谷歌(Google)上搜索美國(guó)黑人的常用名，往往會(huì)出現(xiàn)給出此人逮捕記錄的廣告。搜索白人的常用名，則往往不會(huì)出現(xiàn)這樣的廣告。但是人事經(jīng)理、房東等人在搜索潛在候選人時(shí)，如果出現(xiàn)這樣的廣告，會(huì)很容易被嚇阻，尤其是當(dāng)一群求職者中只有黑人應(yīng)聘者的名字導(dǎo)致這種廣告出現(xiàn)的時(shí)候。

很多政策行動(dòng)組織都簽署了一份《大數(shù)據(jù)時(shí)代民權(quán)原則》(Civil Rights Principles for the Era of BigData)的文件，呼吁公平公正，但沒有說具體如何做到這一點(diǎn)。在美國(guó)，恐怕會(huì)很難讓政策制定者關(guān)注到這個(gè)問題，因?yàn)樾律吓_(tái)的當(dāng)權(quán)者們自己就公開宣揚(yáng)偏見和歧視，但有道德心的程序員及其雇主將會(huì)繼續(xù)尋找解決辦法。

讓我們看看這對(duì)弄清分析中的偏見意味著什么。

成為有辨別力的思考者

我記得一位小學(xué)老師對(duì)她的學(xué)生們說，她希望我們成為“有辨別力的思考者”。區(qū)別對(duì)待有時(shí)是好事。如果某人曾經(jīng)借錢揮霍，購(gòu)買自己買不起的昂貴物品，那么不給他貸款對(duì)銀行和公眾都有好處。問題是我們用什么標(biāo)準(zhǔn)來加以區(qū)別。

ACM研討會(huì)的與會(huì)者們對(duì)道德標(biāo)準(zhǔn)進(jìn)行了一番討論。分析專業(yè)人士是否應(yīng)該建立某種具體的道德標(biāo)準(zhǔn)來控制分析的使用?或者，專家是否應(yīng)該以公開透明為目標(biāo)，讓公眾了解決策的制定過程，而不建立具體的道德標(biāo)準(zhǔn)?

我認(rèn)為，最好的做法是堅(jiān)持被廣泛接受的社會(huì)標(biāo)準(zhǔn)。例如，在上世紀(jì)60年代，美國(guó)以憲法第一修正案為依據(jù)，禁止民族、種族和宗教歧視。后來，性別和殘疾被加入保護(hù)行列，然后是性取向(在22個(gè)州的管轄范圍內(nèi))，近期則是性別認(rèn)同(也就是跨性別者和非二元性別者)。

1948年的聯(lián)合國(guó)《世界人權(quán)宣言》在第二條中呼吁人人平等，“不分種族、膚色、性別、語言、宗教、政治或其他見解、國(guó)籍或社會(huì)出身、財(cái)產(chǎn)、出生或其他身份等任何區(qū)別。并且不得因一人所屬之國(guó)家或領(lǐng)土的政治、法律管轄或者國(guó)際地位之不同而有所區(qū)別，無論該領(lǐng)土是獨(dú)立領(lǐng)土、托管領(lǐng)土、非自治領(lǐng)土或者處于其他任何主權(quán)受限制的情況之下”。這里的“其他身份”表述模糊，但其余部分相當(dāng)明確具體。

簡(jiǎn)而言之，就是由參與公共討論的政治實(shí)體和政策制定者來決定什么可以區(qū)別對(duì)待，什么不可以。在某些情況下，計(jì)算機(jī)算法可能會(huì)使用種族和性別這樣的標(biāo)準(zhǔn)來作出雇傭等決定，哪怕使用這些標(biāo)準(zhǔn)并不合法。

計(jì)算領(lǐng)域的一條重要戒律，就是計(jì)算機(jī)不能改變?nèi)祟愗?zé)任。如果人類做某件事情是不合法或不道德的，那么人類創(chuàng)造的計(jì)算機(jī)程序做這件事情也是不合法或不道德的。但太多的人把計(jì)算機(jī)程序作為擋箭牌?！拔覀兪窃谑褂糜?jì)算機(jī)分析程序，所以沒有關(guān)系”，這就是數(shù)字版的“我只是按命令行事”。

1976年出版的一本經(jīng)典論著《計(jì)算機(jī)能力與人類理性：從判斷到計(jì)算》(Computer Power and Human Reason: From Judgment To Calculation)也傳達(dá)了同樣的訊息。該書作者約瑟夫·魏澤鮑姆(Joseph Weizenbaum)提出了一條關(guān)于人工智能的重要原則。他說，問題不在于計(jì)算機(jī)能不能夠作出事關(guān)人類重要活動(dòng)的決定，而在于它們應(yīng)不應(yīng)該作出這樣的決定。

因此，我認(rèn)為，很多法律和政策聲明已經(jīng)明確了我們應(yīng)該警惕偏見的領(lǐng)域。本文將會(huì)逐漸說明，這些政策考量會(huì)推動(dòng)技術(shù)方面的決定。

數(shù)據(jù)科學(xué)家凱茜·奧尼爾(Cathy O’Neil)在深受好評(píng)的《數(shù)學(xué)殺傷性武器》(Weapons of Math Destruction)一書中，提出了幾個(gè)令人信服的觀點(diǎn)，包括：

由于企業(yè)是從他人那里購(gòu)買數(shù)據(jù)或分析的，數(shù)據(jù)的收集和處理常常是以層級(jí)為單位發(fā)生的。算法最初的不透明性會(huì)隨著層級(jí)的累加而增大，每個(gè)層級(jí)引入的錯(cuò)誤因素也是如此。

將我們與趨勢(shì)進(jìn)行比較的算法，最終會(huì)用他人的行為來評(píng)判我們，而不是用我們自己的行為來評(píng)判我們。我們可能會(huì)因?yàn)楹臀覀儞碛邢嗤?gòu)買或信用記錄的其他人曾經(jīng)開車不小心，而不是因?yàn)槲覀冏约涸?jīng)開車不小心，而在購(gòu)買汽車保險(xiǎn)時(shí)被收取更高的費(fèi)用。這就是偏見的本質(zhì)：假定一個(gè)人將像同類的其他人那樣行事。

一旦某人被劃入表現(xiàn)糟糕者的行列，被認(rèn)為是不可靠的員工、潛在的罪犯或者信用不好的人，那么算法就會(huì)進(jìn)行區(qū)別對(duì)待，使他失去機(jī)會(huì)，越來越把他推向貧窮和缺乏機(jī)會(huì)的境地。

奧尼爾的彌補(bǔ)方案不只是檢測(cè)偏見，還包括通過一個(gè)廣泛的社會(huì)項(xiàng)目來評(píng)估社會(huì)的目標(biāo)，把對(duì)抗經(jīng)濟(jì)壓力的公平性考慮在內(nèi)，利用算法幫助弱勢(shì)者，而不是懲罰他們。

透明性的陰暗面

透明性可以說是我們這個(gè)時(shí)代的戰(zhàn)斗口號(hào)：讓所有人看到你的決策過程!全球已有70個(gè)國(guó)家加入了開放政府伙伴關(guān)系聯(lián)盟(Open Government Partnership)，承諾讓公民參與財(cái)政預(yù)算和法律法規(guī)的制定。其中的大多數(shù)國(guó)家一如往常，繼續(xù)面對(duì)著戰(zhàn)爭(zhēng)、腐敗和其他問題。

但先不要對(duì)透明性過于悲觀。從很多方面來說，透明性正在提升，這得益于更高的教育水平和新的傳播媒體。開源運(yùn)動(dòng)大大加強(qiáng)了程序的透明性。開源軟件或其他措施能否使預(yù)測(cè)分析更加公平呢?

利用分析對(duì)人進(jìn)行分類的企業(yè)擔(dān)心，被分析的對(duì)象如果了解輸入數(shù)據(jù)的標(biāo)準(zhǔn)，就可以把分析系統(tǒng)玩弄于股掌之上。很多標(biāo)準(zhǔn)涉及到難以改變的重要生活特征，比如收入。但也有很多標(biāo)準(zhǔn)似乎只是更重要特征的簡(jiǎn)單代表，這就有可能讓精明的分析對(duì)象弄虛作假。

在以色列電視喜劇《阿拉伯勞工》(Arab Labor)里，阿拉伯人主角沮喪地發(fā)現(xiàn)，他經(jīng)常在檢查站被攔下。他問一位以色列朋友，如何避免這種情況。朋友建議他買一輛特定牌子和型號(hào)的汽車。阿拉伯人照做了。神奇的是，他開始順利通過檢查站，再也沒有受到騷擾。面對(duì)預(yù)測(cè)分析，會(huì)有很多人尋找那輛能夠讓自己度過困境的“好車”。

因此，那些密切關(guān)注分析使用狀況的人承認(rèn)，透明性并不總是好事。一些專家反對(duì)在分析中使用簡(jiǎn)單的二元標(biāo)準(zhǔn)，說這種標(biāo)準(zhǔn)過于粗糙，無助于作出正確決定。我認(rèn)為，無數(shù)家機(jī)構(gòu)的經(jīng)歷已經(jīng)證明，這樣的粗糙標(biāo)準(zhǔn)很容易被看穿。分析對(duì)象的狀況在不斷變化，所以標(biāo)準(zhǔn)必須與時(shí)俱進(jìn)。

對(duì)于加強(qiáng)透明性的努力來說，還有另一個(gè)障礙需要克服：一些公司的分析會(huì)變來變?nèi)?，谷歌的排名算法就是如此。外人不可能透徹了解每一?xiàng)變動(dòng)。另外，機(jī)器學(xué)習(xí)技術(shù)往往會(huì)生成令人費(fèi)解的決策樹，就連編寫這些程序的人自己都搞不明白。

另一方面，固定不變的算法可能會(huì)逐漸偏離正確的預(yù)測(cè)，因?yàn)樽鳛檩斎霐?shù)據(jù)一部分的生活狀況在不斷變化。這解釋了道瓊斯工業(yè)平均指數(shù)(DJIA)為什么時(shí)不時(shí)地改變包含的成分股公司：在19世紀(jì)80年代構(gòu)成美國(guó)經(jīng)濟(jì)主要部分的那些公司要么已經(jīng)消亡，要么變得無足輕重，而現(xiàn)代經(jīng)濟(jì)的主要構(gòu)成部分在那時(shí)甚至根本無從想象(最初的12間DJIA成分股公司，現(xiàn)在只剩下了通用電氣這一間)。出于類似的原因，分析必須時(shí)常用新的、準(zhǔn)確的輸入數(shù)據(jù)進(jìn)行重新計(jì)算。當(dāng)分析產(chǎn)品被出售時(shí)，我們又會(huì)遇到另一種風(fēng)險(xiǎn)：它們可能會(huì)逐漸偏離現(xiàn)實(shí)，沉淪于過去，從而對(duì)依靠它們的公司和被它們錯(cuò)誤分類的人造成負(fù)面影響。

力量的不平衡也扮演了非常重要的角色。本文稍后會(huì)以一篇論述刑事量刑的著名文章為背景，向大家說明，從外部對(duì)算法發(fā)起挑戰(zhàn)是極為困難的，因?yàn)椴渴鹚惴ǖ臋C(jī)構(gòu)比作為分析對(duì)象的個(gè)人要遠(yuǎn)為強(qiáng)大得多。亞歷克斯·羅森布拉特(Alex Rosenblat)、塔瑪拉·克尼斯(Tamara Kneese)和丹娜·博伊德(DanahBoyd)撰寫的一篇文章指出，要贏得歧視訴訟是很難的。

也許，實(shí)現(xiàn)公平公正的最有效方法是讓企業(yè)把他們的分析交給某個(gè)評(píng)審委員會(huì)審查，類似于評(píng)審學(xué)術(shù)研究的機(jī)構(gòu)審查委員會(huì)(IRB)，由很多利益相關(guān)者組成，包括可能受到分析不利影響的人。這樣的委員會(huì)是否有能力評(píng)估深?yuàn)W的算法還是個(gè)未知數(shù)，但至少他們能告訴程序員，某些輸入數(shù)據(jù)是否存在固有偏見。

彌補(bǔ)措施

在學(xué)術(shù)界以外，批評(píng)預(yù)測(cè)分析存在偏見的人一直致力于揭露那些偏見(請(qǐng)注意，他們也在使用同樣的機(jī)器學(xué)習(xí)工具!)。他們常常暗示，應(yīng)該停止使用分析工具來作出對(duì)人類產(chǎn)生深遠(yuǎn)影響的決定。分析的預(yù)期影響是一個(gè)標(biāo)準(zhǔn)，企業(yè)可以據(jù)此判斷是否信賴分析。企業(yè)利用A/B測(cè)試來確定網(wǎng)站訪客點(diǎn)擊綠色圖標(biāo)的次數(shù)是否超過藍(lán)色圖標(biāo)，看上去沒有什么不好。另一方面，F(xiàn)acebook通過信息推送來影響用戶情緒的做法被廣泛視作為不道德行為。

所以說，社會(huì)尚未弄清楚分析的適當(dāng)角色，或者在分辨不良后果方面還不夠熟練——技術(shù)專家Meng Weng Wong稱此為“誤算法”(malgorithm)。而分析實(shí)在太過強(qiáng)大，太有用處，我們也不能樂于拒絕。

一種彌補(bǔ)方案是讓用戶有機(jī)會(huì)挑戰(zhàn)分析結(jié)果，就像幾十年前美國(guó)聯(lián)邦貿(mào)易委員會(huì)(Federal Trade commission)頒布的、被很多公司以各種形式采納的“公平信息實(shí)踐原則”(FIPPS)那樣。企業(yè)可以通過任何方式作出決定，但過程必須透明，并賦予個(gè)人挑戰(zhàn)該決定的權(quán)利。歐盟已經(jīng)將這一原則寫入了2016年4月的《數(shù)據(jù)保護(hù)指令》，該指令對(duì)上世紀(jì)80年代的隱私法規(guī)進(jìn)行了補(bǔ)充更新。此外，普林斯頓大學(xué)的一個(gè)團(tuán)隊(duì)也為那些希望打造公平算法的程序員編制了一份指南。

關(guān)于分析的指導(dǎo)性假設(shè)是，使用分析的機(jī)構(gòu)能夠提供其決定的可審查記錄。《數(shù)據(jù)保護(hù)指令》要求信息處理者向任何個(gè)人提供作出某個(gè)決定的理由，比如拒絕貸款申請(qǐng)的決定。

這個(gè)原則立意很好，但難以落實(shí)。主要有以下幾個(gè)問題：

首先，個(gè)人必須清楚分析被用來達(dá)成了某個(gè)決定，必須知道是哪家公司做出了這個(gè)決定，必須明白自己有權(quán)挑戰(zhàn)該決定，必須清楚提出挑戰(zhàn)的途徑和程序，必須感到這么做是安全的。

在很多情況下，這些條件并不是全都具備。例如，如果廣告算法偏向男性，沒有向某位女性展示她本來有資格應(yīng)聘的招聘廣告，她永遠(yuǎn)都不會(huì)知道自己成為了這種歧視的受害者。她也很難知道誰應(yīng)該為這個(gè)決定負(fù)責(zé)。如果使用該算法的那家公司控制著你的生活，比如你的雇主或者你投保的保險(xiǎn)公司，那么你很可能寧可息事寧人，不要求進(jìn)行調(diào)查。

分析必須透明。有時(shí)候這很容易做到。例如，Wolfram Alpha將公布它用來返回搜索結(jié)果的規(guī)則。有些分析就確實(shí)有規(guī)則可依，且已經(jīng)公開了自己的規(guī)則。

但很多人工智能程序，比如采用遺傳算法或深度學(xué)習(xí)的程序，卻并不透明(除非被設(shè)計(jì)成透明)。它們自行進(jìn)化和改良，不需要人類干預(yù)。它們非常強(qiáng)大，也可以做到非常準(zhǔn)確，但到它們得出結(jié)論的時(shí)候，整個(gè)過程已經(jīng)變得極為復(fù)雜，大多數(shù)人都無法理解。

允許個(gè)人提出挑戰(zhàn)的彌補(bǔ)方案不具有普遍意義：即使個(gè)人敢于要求推翻已經(jīng)作出的決定，這也無助于改善系統(tǒng)的整體公平性。企業(yè)可能會(huì)為了某個(gè)人而重新審視其決定，但不會(huì)停止這種可能傷害成千上萬人的做法。實(shí)際上，歐盟的《數(shù)據(jù)保護(hù)指令》并非在反映全社會(huì)的共同需求，而是把人們當(dāng)成孤立的個(gè)體對(duì)待，而任何個(gè)體都不會(huì)有足夠大的個(gè)人影響力來改變不公平的系統(tǒng)。

有鑒于此，似乎應(yīng)該要求進(jìn)行分析的企業(yè)提供多種形式的透明性。

首先，它們需要確定并披露出自己一直被用于作出影響個(gè)人的決定。

企業(yè)應(yīng)該和利益相關(guān)者(尤其是受系統(tǒng)影響的人群)進(jìn)行開誠(chéng)布公的討論，談?wù)勈裁词枪?，以及系統(tǒng)是否準(zhǔn)確反映了人們生活的真實(shí)情況。

對(duì)人們生活產(chǎn)生重大影響的所有預(yù)測(cè)分析系統(tǒng)還應(yīng)該接受查驗(yàn)或追蹤。不接受查驗(yàn)的系統(tǒng)有如不打印選票的電子投票機(jī)：它們根本不適合這項(xiàng)工作。

著名計(jì)算機(jī)科學(xué)家辛西婭·德沃克(CynthiaDwork)發(fā)明了一種驗(yàn)證公平性的有趣方法，她稱之為“覺知性公平”。借助差分隱私實(shí)驗(yàn)，她的團(tuán)隊(duì)試圖利用密碼學(xué)來驗(yàn)證算法的公平性。不幸的是，這項(xiàng)技術(shù)恐怕過于復(fù)雜，無法整合進(jìn)“正在吞噬整個(gè)世界”的分析系統(tǒng)。

計(jì)算機(jī)科學(xué)家們?cè)谝黄撐闹姓劦搅肆硪环N方法：把公平性測(cè)試整合到系統(tǒng)開發(fā)過程中。這篇論文提出了一個(gè)有趣的前提：我們不能對(duì)種族、性別等差異視而不見。我們必須清楚地意識(shí)到這些差異，必須明確地測(cè)試它們。這種“平權(quán)法案”方法完全不同于某些統(tǒng)計(jì)學(xué)家和數(shù)據(jù)科學(xué)家的觀點(diǎn)：他們相信，他們能夠遠(yuǎn)離社會(huì)影響，他們的技術(shù)可以保證客觀性。

案例研究：刑事量刑

在本文最后，將會(huì)探討最廣為人知的一項(xiàng)分析偏見研究，并從中得出一些新的結(jié)論。我說的是一篇關(guān)于為已定罪罪犯量刑的著名文章。今年5月，這篇文章發(fā)表于民間新聞網(wǎng)站ProPublica，在讓公眾了解預(yù)測(cè)分析的風(fēng)險(xiǎn)方面發(fā)揮了重要作用。朱莉婭·安格溫(Julia Angwin)及其合著者將關(guān)注點(diǎn)放在了一款名叫COMPAS的軟件上，很多地方的司法機(jī)關(guān)都用這款軟件來決定是判罪犯緩刑還是把他們關(guān)進(jìn)監(jiān)獄。作者們說，這樣的決定帶有種族偏見，因?yàn)楹谌俗锓副劝兹俗锓父菀妆籆OMPAS劃入高風(fēng)險(xiǎn)類別(意味著他們更可能在緩刑期內(nèi)再次犯罪)，這是不公平的。

作者們本來可以說COMPAS常常出錯(cuò)，但很多時(shí)候都是對(duì)的。他們本來可以建議，鑒于錯(cuò)誤率較高，法官只應(yīng)該把COMPAS當(dāng)成眾多的判決依據(jù)之一。但他們卻更進(jìn)一步，將自己推入了一場(chǎng)激烈的爭(zhēng)論之中。

所有人似乎分成了兩派：

1. COMPAS的算法對(duì)于白人和黑人將犯下更多罪行(再次犯罪)的預(yù)測(cè)同樣準(zhǔn)確。

2. COMPAS的算法對(duì)于黑人將再次犯罪的預(yù)測(cè)失誤率遠(yuǎn)高于白人，這是錯(cuò)誤的，也傷害了黑人群體，指控他們將會(huì)再次犯罪，而事實(shí)上他們并不會(huì)這樣。

那么，什么是公平?

ProPublica的分析引發(fā)了爭(zhēng)議。幾位評(píng)論員說，ProPublica沒有考慮到另一個(gè)重要差異：黑人罪犯被判二次犯罪的可能性確實(shí)遠(yuǎn)高于白人罪犯。The American Conservative網(wǎng)站發(fā)文解釋了ProPublica為什么會(huì)得出這樣的結(jié)論。《華盛頓郵報(bào)》的一篇文章也提出了同樣的觀點(diǎn)?；旧蟻碚f，這些文章都聲稱，黑人罪犯比白人罪犯更容易被劃入高風(fēng)險(xiǎn)類別，這是由輸入數(shù)據(jù)決定的，不可能受到人為操縱。

COMPAS軟件的開發(fā)機(jī)構(gòu)Northpointe在反駁ProPublica的那篇文章時(shí)，也提出了這一看法。對(duì)于ProPublica指控COMPAS將黑人錯(cuò)誤地劃入高風(fēng)險(xiǎn)類別的可能性遠(yuǎn)高于白人的核心論斷，Northpointe反駁說：“這種模式?jīng)]有顯示出存在偏見的跡象，而是使用公正的評(píng)分規(guī)則得出的自然結(jié)果。那些群體碰巧呈現(xiàn)出不同的評(píng)分分布。”他們引用了一項(xiàng)非相關(guān)研究的結(jié)果，說他們沒法做手腳調(diào)高黑人的高風(fēng)險(xiǎn)評(píng)分。

Northpointe還說，在那項(xiàng)研究中，白人的年紀(jì)往往比黑人更大，這降低了他們?cè)俅畏缸锏目赡苄?。ProPublica的研究確實(shí)發(fā)現(xiàn)，年齡與犯罪緊密相關(guān)。他們也以其他理由批評(píng)ProPublica的研究，但在我看來，黑人更可能被再次逮捕的傾向是所有這些評(píng)論的核心議題。

我們能從這場(chǎng)爭(zhēng)論中得出很多有趣的通用結(jié)論。首先，數(shù)據(jù)科學(xué)本身就充滿爭(zhēng)議。盡管該領(lǐng)域以客觀性為目標(biāo)，但統(tǒng)計(jì)學(xué)家們并不總是意見相合。其次，在評(píng)判分析的影響時(shí)，評(píng)判者肯定會(huì)受到自身價(jià)值觀的影響。ProPublica認(rèn)為，COMPAS所遵循的道德標(biāo)準(zhǔn)已經(jīng)偏離了Northpointe采用的那些標(biāo)準(zhǔn)。

但我們應(yīng)該從中吸取的主要教訓(xùn)，則是提出以下問題：黑人的再犯率為什么更高?如果這是ProPublica所說的偏見的來源，為什么會(huì)發(fā)生這種情況?

在這里，我們必須借助社會(huì)科學(xué)研究，這些研究的探討范疇往往要比這篇文章廣泛得多?；旧蟻碚f，研究人員已經(jīng)證明，在避免犯罪方面，黑人往往缺乏白人所能獲得的種種支持。米歇爾·亞歷山大(Michelle Alexander)的著作《新種族隔離主義》(The New Jim Crow)對(duì)此作了很好的論述。

與白人相比，黑人不太可能擁有可以幫助他們找到工作的聯(lián)系人，不太可能被聘用(尤其是在有犯罪前科的情況下)，不太可能得到住房和其他賴以為生的重要資源，通常也不太可能擁有使他們免于再次犯罪的社會(huì)結(jié)構(gòu)。

因此，預(yù)測(cè)分析結(jié)果的差異幫助我們看到了現(xiàn)實(shí)生活中的差異。

斯威尼的研究也得出了類似結(jié)論。她發(fā)問道：谷歌不恰當(dāng)?shù)卣故竞谌顺Ｓ妹摹按队涗洝睆V告，誰應(yīng)該為此負(fù)責(zé)?谷歌和提供那些廣告的公司都否認(rèn)存在任何蓄意偏見。我傾向于相信他們，因?yàn)樗麄內(nèi)绻桃獾匕逊N族歧視思想融入到廣告展示中，將會(huì)面臨很大的風(fēng)險(xiǎn)。那么，還有什么其他的答案呢?終端用戶行為：普通網(wǎng)絡(luò)用戶搜索黑人逮捕記錄的頻率肯定超過白人。這種社會(huì)偏見被算法捕捉并融入到了自己的分析過程中。

《麻省理工科技評(píng)論》的一篇文章表達(dá)了同樣的看法，認(rèn)為普通人的偏見會(huì)通過評(píng)級(jí)系統(tǒng)傳遞到臨場(chǎng)經(jīng)濟(jì)(contingent economy)中。于是，我們得到的就是卡通人物勃哥(Pogo)的那句經(jīng)典結(jié)論：我們已經(jīng)遇到了敵人，那就是我們自己?；蛘撸眠~克·魯克德斯(MikeLoukides)的話來說：“我們的AI就是我們自己?！?

可能的彌補(bǔ)措施

數(shù)據(jù)科學(xué)家本能地通過兩個(gè)辦法來驗(yàn)證準(zhǔn)確性：檢查輸入數(shù)據(jù)和檢查分析模型。為我們提供數(shù)據(jù)的真實(shí)環(huán)境就存在不公平的歧視時(shí)，需要我們積極進(jìn)行詳細(xì)檢查，不遺余力地消除數(shù)據(jù)中的偏見。就像前文提到的COMPAS，顯然依據(jù)的就是帶有種族偏見的數(shù)據(jù)。我們應(yīng)該有意識(shí)地采取措施恢復(fù)分析系統(tǒng)的公平性。

程序員和數(shù)據(jù)科學(xué)家可以成為對(duì)抗偏見的先鋒。但是算法領(lǐng)域的用戶和監(jiān)管該領(lǐng)域的政策制定者也可以發(fā)揮帶頭作用，主動(dòng)要求對(duì)算法進(jìn)行審查。理想情況下，分析將會(huì)公開給公眾接受審查，但由于上文提到的那些原因(保護(hù)商業(yè)機(jī)密、避免系統(tǒng)被玩弄于股掌之上等等)，這通常無法實(shí)現(xiàn)。不過，可以按照嚴(yán)格的許可規(guī)定，授權(quán)一群專家以找出潛在偏見為目的，對(duì)數(shù)據(jù)和算法進(jìn)行評(píng)估。

承認(rèn)偏見是壞事(這個(gè)原則現(xiàn)在常常受到質(zhì)疑)后，公眾需要采取的第一步就是明白算法可能引入和強(qiáng)化偏見。然后，我們必須認(rèn)識(shí)到，偏見不是來自于程序員(哪怕他可能是白人、男性和高收入者)或程序，而是來自于幾千年來造成社會(huì)不公的那些因素。算法不是客觀的，但它們客觀地體現(xiàn)了人類自身的罪孽。