
大數(shù)據(jù)時代,即便匿名,也可能被人識別出來
大數(shù)據(jù)研究是否會侵犯個人隱私?這個問題一直飽受爭議。一方面,加強個人信息安全的呼聲從未減少;但另一方面,越來越多掌握海量個人數(shù)據(jù)的機構開始向公眾開放數(shù)據(jù)源,以推動學術研究,提升企業(yè)的商業(yè)表現(xiàn),或是為用戶的日常生活提供便利。
脆弱的匿名:僅僅四個數(shù)據(jù)點便能識別個體?
為了保障個人信息不被泄露,數(shù)據(jù)提供方常使用隨機ID代替?zhèn)€人身份信息。敏感的個人身份識別信息——如名字,住址,手機號碼等——因而得以隱藏。但是,匿名ID并不是萬全之策,更何況在大多數(shù)情況下,公開數(shù)據(jù)只能做到某種程度上的匿名。通過極其少量的外部確認信息,比如時空數(shù)據(jù)點,數(shù)據(jù)使用者就能夠反向識別某個具體的個人。
在最近發(fā)表的一項研究中,MIT的Yves-Alexandre de Montjoye等學者分析了100多萬用戶在3個月內的信用卡消費數(shù)據(jù)。他們發(fā)現(xiàn),僅僅需要4個外部確認信息,數(shù)據(jù)使用者就能以超過90%的幾率識別特定用戶。所謂外部確認信息,也就是跟用戶相關的時空數(shù)據(jù)點,比如帶有定位信息的Twitter,在Google上對某地的評價,Netfliex上的電影評分等等。
反向識別的大致流程是這樣的:比如說,數(shù)據(jù)使用者想找到用戶S的消費記錄。他們由外部確認信息得知,S曾經(jīng)在9月23號在某甜品店消費,并于9月24號在某餐館就餐。經(jīng)過在信用卡數(shù)據(jù)集中的篩選,只有一位ID為“7abc1a23”的用戶完全符合上述條件。于是,只通過兩條外部確認信息,研究者們就在海量的信用卡數(shù)據(jù)中找到了S,并通過ID獲取了ta的所有相關記錄。
盡管上訴個例略顯極端,但是也為我們敲響了警鐘:大數(shù)據(jù)時代,個人的日常生活軌跡極易被各個平臺記錄在案,它們可以互相參照,并成為其它數(shù)據(jù)集的外部確認信息。心懷不軌的攻擊者,可以輕易地使用不同數(shù)據(jù)集進行比對,并定位目標個體。
數(shù)據(jù)和隱私:從歷史到今天
在不同類型的數(shù)據(jù)中,個體被識別的可能性差別很大。相對而言,財經(jīng)類數(shù)據(jù),比如研究者們所使用的信用卡消費信息,能更準確地對個體進行反向識別。這些數(shù)據(jù)不僅僅包含了時間,地點,還額外加上了一重識別信息:消費金額。除此之外,手機移動數(shù)據(jù)信息、網(wǎng)絡瀏覽信息、交通通勤信息等等,也都屬于風險較大的類別。對于生活在網(wǎng)絡時代的我們來說,只要曾在生活中留下過電子痕跡,個體隱私便難免遭受侵犯,甚至連匿名都無法提供足夠的保護。
事實上,關于身份信息的記錄早已有之,包括人口普查、選民登記、醫(yī)療信息等等。而這些數(shù)據(jù)常常在經(jīng)過簡單匿名處理之后,就直接向公眾開放。1997年,MIT的學者Latanya Sweeney就曾質疑馬薩諸塞州保險委員會公布的匿名醫(yī)療記錄無法保護個人隱私。她借助該州的選民信息,成功反向識別了病患身份,并將研究結果發(fā)給州長加以警示。所以,匿名個體遭到定位的風險倒并非今天所獨有。
然而,計算機技術的成熟以及大數(shù)據(jù)時代的到來,讓情況變得更加糟糕。許多提供匿名用戶數(shù)據(jù)的公司,都在隱私保護方面栽過跟頭。2006年,美國在線(AOL)公布了65萬用戶在三個月內的匿名搜索數(shù)據(jù)。紐約時報依據(jù)外部信息進行對比,成功識別了部分用戶的身份。在隨后的法律訴訟中,AOL被迫付出了500萬美元的賠償金。
Netflix在2008年也曾陷入類似的爭議。Netflix在2006年舉辦了著名的算法競賽,獎勵能預測用戶觀影偏好的最佳算法。大量的匿名用戶評分數(shù)據(jù)因而被公布,并由參賽者任意使用。來自德克薩斯州大學奧斯汀分校的Arvind Narayanan 和 Vitaly Shmatikov兩位學者,將Netflix的數(shù)據(jù)和IMBD的數(shù)據(jù)進行匹配,并由此識別了一些用戶的身份,以及包括政治偏好在內的敏感信息。一年后,四位用戶以侵犯隱私權為由將Netflix告上了法庭。
見招拆招:更復雜的匿名技術還是更完備的法律?
意識到匿名ID的脆弱和不可靠,學界和業(yè)界也在不斷發(fā)明新的方法,以提升個人身份被識別的難度。Yves-Alexandre de Montjoye等研究者提供的一種解決方案是降低數(shù)據(jù)精度,比如將特定咖啡館轉換為某一區(qū)域內的餐館,將具體時間轉換為某個時間范圍。但是他們承認,如果有足夠多的外部確認信息,即便數(shù)據(jù)精度較低,某些個體仍舊很容易被辨識。
上文提到的Latanya Sweeney教授,則早在2002年就提出了k-匿名(k-anonymity)隱私保護模型。其它的方法還包括 l-多樣化(l-diversity)、t-closeness、 差分隱私(differential privacy)、同態(tài)加密(homomorphic encryption)、零知識證明(zero-knowledge proof)等等。但是這些匿名方法都不可避免地存在局限性,無法完全阻止反向識別的實施。
比如說,所謂差分隱私,就是向原始數(shù)據(jù)中加入噪聲,在增加識別難度的同時,保持數(shù)據(jù)的原有屬性。一個例子是,Chrome 瀏覽器會首先對用戶上傳的數(shù)據(jù)進行隨機化修改(randomized response),通過使用布隆過濾器加入噪聲,再上傳給服務器。蘋果在2016年的世界開發(fā)者大會(WWDC)上也宣布使用類似的差分隱私方法。不過,差分隱私還是無法避免多個相關數(shù)據(jù)上報而導致的隱私泄露。更何況,道高一尺魔高一丈,匿名方法推陳出新的同時,攻擊者們也會采用更為強力的識別工具。
唯一可以讓我們稍許感到寬慰的是,學者們的不斷努力提醒了政府,并推動了相關領域的立法行動——Latanya Sweeney就醫(yī)療隱私做出的警告,使得美國政府在2003年更新了健康保險便利和責任法案(HIPAA),進一步限制了醫(yī)療數(shù)據(jù)的披露。
現(xiàn)有體系的缺陷:隱私保護向何處去?
但即使在美國,立法方面的進展仍舊遠遠落于實踐之后。美國現(xiàn)有法律強調,只要數(shù)據(jù)被提前模糊化,個人的身份信息得以隱藏,便可以被視為“安全”的匿名數(shù)據(jù)集,從而數(shù)據(jù)擁有者可以開放其使用權限。
至于數(shù)據(jù)被公開之后的使用限制,在現(xiàn)有法律框架中基本無跡可尋。更令人擔憂的是,并不是所有數(shù)據(jù)公司都有保護隱私的良知,或者掌握了完備的匿名處理方法。很多時候,匿名數(shù)據(jù)被公開之后,公司就無法再通過后續(xù)手段加強其安全性。相比之下,攻擊者能夠不斷升級技術手段,并收集其他數(shù)據(jù)來進行對比。
隨著技術的普及和大數(shù)據(jù)的發(fā)展,使用者從公開資料中挖掘出個人敏感信息的難度不斷降低。2014年,一名在Neustar實習的數(shù)據(jù)科學家在獲取了紐約出租車轎車協(xié)會提供的出租車行車記錄后,結合八卦信息網(wǎng)上找到的名人出行街拍圖,成功識別了多位名人的上下車地點、車費、行車路徑,以及其他一些出行記錄,一時引發(fā)了輿論的關切。
越來越多的事例及研究表明,匿名能給個人隱私提供的保護十分脆弱,反向識別正變得愈發(fā)普遍。但是在當前的司法體系下,數(shù)據(jù)提供者依舊沒有義務上報可能遭受了反向識別的數(shù)據(jù)集。攻擊者們也甚少被追究責任。于是,公眾很難得知,某個公開數(shù)據(jù)的匿名性是否已被攻破。無論是技術層面還是法律層面,大數(shù)據(jù)時代的隱私保護都還任重道遠。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數(shù)據(jù)中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03