
大數(shù)據(jù)環(huán)境下的隱私保護(hù)技術(shù)_數(shù)據(jù)分析師培訓(xùn)
隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,整個(gè)社會(huì)被強(qiáng)行推入“大數(shù)據(jù)”時(shí)代。不管人們是否愿意,我們的個(gè)人數(shù)據(jù)正在不經(jīng)意間被動(dòng)地被企業(yè)、個(gè)人搜集并使用。個(gè)人數(shù)據(jù)的網(wǎng)絡(luò)化和透明化已經(jīng)成為不可阻擋的大趨勢。過去,能夠大量掌控公民個(gè)人數(shù)據(jù)的機(jī)構(gòu)只能是持有公權(quán)力的政府機(jī)構(gòu),但現(xiàn)在許多企業(yè)和某些個(gè)人也能擁有海量數(shù)據(jù),甚至在某些方面超過政府機(jī)構(gòu)。這些用戶數(shù)據(jù)對企業(yè)來說是珍貴的資源,因?yàn)樗麄兛梢酝ㄟ^數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)從中獲得大量有價(jià)值的信息。與此同時(shí),用戶數(shù)據(jù)亦是危險(xiǎn)的“潘多拉之盒”,數(shù)據(jù)一旦泄漏,用戶的隱私將被侵犯。近年來,已經(jīng)發(fā)生了多起用戶隱私泄露事件,公民的個(gè)人的隱私數(shù)據(jù)保護(hù)遇到了嚴(yán)峻的挑戰(zhàn)。
20世紀(jì)最著名的用戶隱私泄漏事件發(fā)生在美國馬薩諸塞州。90年代中葉,為了推動(dòng)公共醫(yī)學(xué)研究,該州保險(xiǎn)委員會(huì)發(fā)布了政府雇員的醫(yī)療數(shù)據(jù)。在數(shù)據(jù)發(fā)布之前,為了防止用戶隱私泄露,委員會(huì)對數(shù)據(jù)進(jìn)行了匿名化處理,即刪除了所有的敏感信息,如姓名、身份證號和家庭住址等。然而,來自麻省理工大學(xué)的Sweeney成功破解了這份匿名化處理后的醫(yī)療數(shù)據(jù),能夠確定具體某一個(gè)人的醫(yī)療記錄。匿名醫(yī)療數(shù)據(jù)雖然刪除了所有的敏感信息,但仍然保留了三個(gè)關(guān)鍵字段:性別、出生日期和郵編。Sweeney同時(shí)有一份公開的馬薩諸塞州投票人名單(被攻擊者也在其中),包括投票人的姓名、性別、出生年月、住址和郵編等個(gè)人信息。她將兩份數(shù)據(jù)進(jìn)行匹配,發(fā)現(xiàn)匿名醫(yī)療數(shù)據(jù)中與被攻擊者生日相同的人有限,而其中與被攻擊者性別和郵編都相同的人更是少之又少。由此,Sweeney就能確定被攻擊者的醫(yī)療記錄。Sweeney進(jìn)一步研究發(fā)現(xiàn),87%的美國人擁有唯一的性別、出生日期和郵編三元組信息,同時(shí)發(fā)布事實(shí)上幾乎等同于直接公開。
2006年,美國在線公司(AOL)公布了超過65萬用戶三個(gè)月內(nèi)的搜索記錄,以推動(dòng)搜索技術(shù)的研究。AOL同樣對發(fā)布的數(shù)據(jù)進(jìn)行了匿名化處理,即用一個(gè)隨機(jī)數(shù)代替用戶的賬號。隨后,《紐約時(shí)報(bào)》成功將部分?jǐn)?shù)據(jù)去匿名化,并公開了其中一位用戶的真實(shí)身份。這起隱私泄漏事件引起了人們的廣泛關(guān)注,美國在線公司因?yàn)榇耸录诒奔又莸胤椒ㄔ罕黄鹪V。美國網(wǎng)飛公司曾(Netflix)舉辦了一個(gè)推薦系統(tǒng)算法競賽,發(fā)布了一些“經(jīng)過匿名化處理的”用戶影評數(shù)據(jù)供參賽者測試,僅僅保留了每個(gè)用戶對電影的評分和評分的時(shí)間戳。然而,來自德州大學(xué)奧斯汀分校的兩位研究人員借助公開的互聯(lián)網(wǎng)電影數(shù)據(jù)庫(IMDB)的用戶影評數(shù)據(jù),獲得了IMDB用戶,并不比在Netflix上的全部電影瀏覽信息(包括涉及敏感題材的電影)少。為此,2009年Netflix遭到了4位用戶的起訴,也不得不取消了該競賽。
除了上述幾個(gè)著名的用戶隱私泄露事件,大數(shù)據(jù)帶來的整體性變革,使得個(gè)體用戶很難對抗個(gè)人隱私被全面暴露的風(fēng)險(xiǎn),谷歌公司著名的街景服務(wù)曾引發(fā)許多攝影對象的抱怨,他們要求谷歌在街景畫面中屏蔽掉自家住宅或商鋪的圖像,但虛化后的陰影與周邊景象形成了鮮明對比,促使一些歹徒尋著“此地?zé)o銀三百兩”的提示,按圖索驥地登堂入室。同時(shí),傳統(tǒng)線下企業(yè)的數(shù)據(jù)保護(hù)方式失效了,只要用戶使用智能手機(jī)、上網(wǎng)購物或參與社交媒體互動(dòng),就必須將自己的個(gè)人數(shù)據(jù)所有權(quán)轉(zhuǎn)移給服務(wù)商。更為復(fù)雜的是,經(jīng)過多重交易和多個(gè)第三方渠道的介入,個(gè)人數(shù)據(jù)的權(quán)利邊界消失了或者說模糊不清了,公民的個(gè)人的隱私保護(hù)遇到了嚴(yán)峻的挑戰(zhàn)。
面對頻發(fā)的隱私泄露事件,隱私保護(hù)問題需要得到有效的解決。解決的途徑包括:制定法律法規(guī)、研發(fā)技術(shù)方法、規(guī)范管理措施三個(gè)方面。
在法律法規(guī)方面,歐美早在七十年代就有專門的隱私保護(hù)法,如下圖所示:
香港在回歸之前就頒布實(shí)施了個(gè)人數(shù)據(jù)條例。該條例1995年頒布,1996年12月20日生效。條例的執(zhí)行由個(gè)人數(shù)據(jù)隱私專員監(jiān)督。該條例管理個(gè)人、企業(yè)、公共機(jī)構(gòu)和政府部門對于在世人士的相關(guān)數(shù)據(jù)的使用(如果這些數(shù)據(jù)可以有效識(shí)別該在世人士)。香港的PDPO條例主要強(qiáng)調(diào)了數(shù)據(jù)保護(hù)的六大原則: 個(gè)人數(shù)據(jù)收集的目的和方式、個(gè)人數(shù)據(jù)的準(zhǔn)確性和數(shù)據(jù)保留的時(shí)間、個(gè)人數(shù)據(jù)的使用、個(gè)人數(shù)據(jù)的安全性、信息基本有效可用、個(gè)人數(shù)據(jù)的訪問。
我國大陸雖然沒有專門的隱私保護(hù)法,但在多個(gè)法律法規(guī)的條文中涉及到了隱私保護(hù),對保護(hù)個(gè)人隱私作了間接的、原則性的規(guī)定。例如,《中華人民共和國憲法》第三十八條、第三十九條、第四十條明確了對公民的人格尊嚴(yán)、住宅、通信自由和通信秘密的保護(hù),這是我國法律對隱私權(quán)進(jìn)行保護(hù)的最根本的依據(jù);第三十八條規(guī)定:“中華人民共和國公民的人格尊嚴(yán)不受侵犯。禁止用任何方法對公民進(jìn)行侮辱、誹謗和誣告陷害”,第三十九條規(guī)定:“中華人民共和國公民的住宅不受侵犯。禁止非法搜查或者非法侵八公民的住宅”,第四十條規(guī)定:“中華人民共和國公民的通信自由和通信秘密受法律的保護(hù)。除因國家安全或者追查刑事犯罪的需要,由公安機(jī)關(guān)或者檢察機(jī)關(guān)依照法律規(guī)定的程序?qū)νㄐ胚M(jìn)行檢查外,任何組織或者個(gè)人不得以任何理由侵犯公民的通信自由和通信秘密”?!吨腥A人民共和國合同法》第六十條第二款規(guī)定:“當(dāng)事人應(yīng)當(dāng)遵循誠實(shí)信用原則,根據(jù)合同的性質(zhì)、目的和交易習(xí)慣履行通知、協(xié)助、保密等義務(wù)”。第六十條還規(guī)定:“當(dāng)事人應(yīng)當(dāng)按照約定全面履行自己的義務(wù)。當(dāng)事人應(yīng)當(dāng)遵循誠實(shí)信用原則,根據(jù)合同的性質(zhì)、目的和交易習(xí)慣履行通知、協(xié)助、保密等義務(wù)”。最高人民法院《關(guān)于貫徹執(zhí)行<中華人民共和國民法通則>若干問題的意見(試行)》第140條:“以書面、口頭形式宣場他人的隱私,或者捏造事實(shí)公然丑化他人人格,以及用侮辱、誹謗等方式損害他人名譽(yù),造成一定影響的,應(yīng)當(dāng)認(rèn)定為侵害公民名譽(yù)權(quán)的行為”。《侵權(quán)責(zé)任法》第三十六條:“網(wǎng)絡(luò)用戶、網(wǎng)絡(luò)服務(wù)提供者利用網(wǎng)絡(luò)侵害他人民事權(quán)益的,應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任……”?!吨腥A人民共和國刑法》第二百五十三條之一:“國家機(jī)關(guān)或者金融、電信、交通、教育、醫(yī)療等單位的工作人員,違反國家規(guī)定,將本單位在履行職責(zé)或者提供服務(wù)過程中獲得的公民個(gè)人信息,出售或者非法提供給他人,情節(jié)嚴(yán)重的,處三年以下有期徒刑或者拘役,并處或者單處罰金。竊取或者以其他方法非法獲取上述信息,情節(jié)嚴(yán)重的,依照前款的規(guī)定處罰。單位犯前兩款罪的,對單位判處罰金,并對其直接負(fù)責(zé)的主管人員和其他直接責(zé)任人員,依照各該款的規(guī)定處罰”,等等。這些法律規(guī)定對于保護(hù)公民的隱私權(quán)具有重要意義。
在技術(shù)方面,隱私保護(hù)的研究領(lǐng)域主要關(guān)注基于數(shù)據(jù)失真的技術(shù)、基于數(shù)據(jù)加密的技術(shù)和基于限制發(fā)布的技術(shù)。
基于數(shù)據(jù)失真的技術(shù)通過添加噪音等方法,使敏感數(shù)據(jù)失真但同時(shí)保持某些數(shù)據(jù)或數(shù)據(jù)屬性不變,仍然可以保持某些統(tǒng)計(jì)方面的性質(zhì)。包括隨機(jī)化,即對原始數(shù)據(jù)加入隨機(jī)噪聲,然后發(fā)布擾動(dòng)后數(shù)據(jù)的方法;第二種是阻塞與凝聚,阻塞是指不發(fā)布某些特定數(shù)據(jù)的方法,凝聚是指原始數(shù)據(jù)記錄分組存儲(chǔ)統(tǒng)計(jì)信息的方法;第三類是差分隱私保護(hù)。
基于數(shù)據(jù)加密的技術(shù)采用加密技術(shù)在數(shù)據(jù)挖掘過程隱藏敏感數(shù)據(jù)的方法,包括安全多方計(jì)算 SMC,即使兩個(gè)或多個(gè)站點(diǎn)通過某種協(xié)議完成計(jì)算后,每一方都只知道自己的輸入數(shù)據(jù)和所有數(shù)據(jù)計(jì)算后的最終結(jié)果;還包括分布式匿名化,即保證站點(diǎn)數(shù)據(jù)隱私、收集足夠的信息實(shí)現(xiàn)利用率盡量大的數(shù)據(jù)匿名
基于限制發(fā)布的技術(shù)有選擇地發(fā)布原始數(shù)據(jù)、不發(fā)布或者發(fā)布精度較低的敏感數(shù)據(jù),實(shí)現(xiàn)隱私保護(hù)。當(dāng)前這類技術(shù)的研究集中于“數(shù)據(jù)匿名化”,保證對敏感數(shù)據(jù)及隱私的披露風(fēng)險(xiǎn)在可容忍范圍內(nèi)。包括K-anonymity、L-diversity、T-closeness。
最早被廣泛認(rèn)同的隱私保護(hù)模型是k-匿名,由Samarati和Sweeney在2002年提出,作者正是馬薩諸塞州醫(yī)療數(shù)據(jù)隱私泄露事件的攻擊者。為應(yīng)對去匿名化攻擊,k-匿名要求發(fā)布的數(shù)據(jù)中每一條記錄都要與其他至少k-1條記錄不可區(qū)分(稱為一個(gè)等價(jià)類)。當(dāng)攻擊者獲得k-匿名處理后的數(shù)據(jù)時(shí),將至少得到k個(gè)不同人的記錄,進(jìn)而無法做出準(zhǔn)確的判斷。參數(shù)k表示隱私保護(hù)的強(qiáng)度,k值越大,隱私保護(hù)的強(qiáng)度越強(qiáng),但丟失的信息更多,數(shù)據(jù)的可用性越低。
然而,美國康奈爾大學(xué)的Machanavajjhala等人在2006年發(fā)現(xiàn)了k-匿名的缺陷,即沒有對敏感屬性做任何約束,攻擊者可以利用背景知識(shí)攻擊、再識(shí)別攻擊和一致性攻擊等方法來確認(rèn)敏感數(shù)據(jù)與個(gè)人的關(guān)系,導(dǎo)致隱私泄露。例如,攻擊者獲得的k-匿名化的數(shù)據(jù),如果被攻擊者所在的等價(jià)類中都是艾滋病病人,那么攻擊者很容易做出被攻擊者肯定患有艾滋病的判斷(上述就是一致性攻擊的原理)。為了防止一致性攻擊,新的隱私保護(hù)模型l-diversity改進(jìn)了k-匿名,保證任意一個(gè)等價(jià)類中的敏感屬性都至少有l(wèi)個(gè)不同的值。t-Closeness在l-diversity 的基礎(chǔ)上,要求所有等價(jià)類中敏感屬性的分布盡量接近該屬性的全局分布。(a, k)-匿名原則,則在k-匿名的基礎(chǔ)上,進(jìn)一步保證每一個(gè)等價(jià)類中與任意一個(gè)敏感屬性值相關(guān)記錄的百分比不高于a。
然而,上述隱私保護(hù)模型依然有缺陷,需要不斷的被改進(jìn),但同時(shí)又有新的攻擊方法出現(xiàn),使得基于k-匿名的傳統(tǒng)隱私保護(hù)模型陷入這樣一個(gè)無休止的循環(huán)中。從根本上來說,傳統(tǒng)隱私保護(hù)模型的缺陷在于對攻擊者的背景知識(shí)和攻擊模型都給出了過多的假設(shè)。但這些假設(shè)在現(xiàn)實(shí)中往往并不完全成立,因此攻擊總是能夠找到各種各樣的攻擊方法來進(jìn)行攻擊。直到差分隱私的出現(xiàn),這一問題才得到較好的解決。
差分隱私(differential privacy, DP)是微軟研究院的Dwork在2006年提出的一種新的隱私保護(hù)模型。該方法能夠解決傳統(tǒng)隱私保護(hù)模型的兩大缺陷:(1)定義了一個(gè)相當(dāng)嚴(yán)格的攻擊模型,不關(guān)心攻擊者擁有多少背景知識(shí),即使攻擊者已掌握除某一條記錄之外的所有記錄信息(即最大背景知識(shí)假設(shè)),該記錄的隱私也無法被披露;(2)對隱私保護(hù)水平給出了嚴(yán)謹(jǐn)?shù)亩x和量化評估方法。正是由于差分隱私的諸多優(yōu)勢,使其一出現(xiàn)便迅速取代傳統(tǒng)隱私保護(hù)模型,成為當(dāng)前隱私研究的熱點(diǎn),并引起了理論計(jì)算機(jī)科學(xué)、數(shù)據(jù)庫、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域的關(guān)注。
在管理領(lǐng)域,我國各部門也在制定一些強(qiáng)制管理措施保護(hù)隱私信息。
總之,隱私保護(hù)在大數(shù)據(jù)時(shí)代是不可回避的,需要拿出切實(shí)可行的法律、技術(shù)、管理措施,并嚴(yán)格遵照執(zhí)行。同時(shí),廣大民眾也應(yīng)該養(yǎng)成保護(hù)個(gè)人隱私信息的意識(shí)和習(xí)慣,用技術(shù)和法律的手段捍衛(wèi)自己的合法權(quán)益。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03