
大數(shù)據(jù)環(huán)境下的隱私保護(hù)技術(shù)_數(shù)據(jù)分析師培訓(xùn)
隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,整個(gè)社會(huì)被強(qiáng)行推入“大數(shù)據(jù)”時(shí)代。不管人們是否愿意,我們的個(gè)人數(shù)據(jù)正在不經(jīng)意間被動(dòng)地被企業(yè)、個(gè)人搜集并使用。個(gè)人數(shù)據(jù)的網(wǎng)絡(luò)化和透明化已經(jīng)成為不可阻擋的大趨勢。過去,能夠大量掌控公民個(gè)人數(shù)據(jù)的機(jī)構(gòu)只能是持有公權(quán)力的政府機(jī)構(gòu),但現(xiàn)在許多企業(yè)和某些個(gè)人也能擁有海量數(shù)據(jù),甚至在某些方面超過政府機(jī)構(gòu)。這些用戶數(shù)據(jù)對(duì)企業(yè)來說是珍貴的資源,因?yàn)樗麄兛梢酝ㄟ^數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)從中獲得大量有價(jià)值的信息。與此同時(shí),用戶數(shù)據(jù)亦是危險(xiǎn)的“潘多拉之盒”,數(shù)據(jù)一旦泄漏,用戶的隱私將被侵犯。近年來,已經(jīng)發(fā)生了多起用戶隱私泄露事件,公民的個(gè)人的隱私數(shù)據(jù)保護(hù)遇到了嚴(yán)峻的挑戰(zhàn)。
20世紀(jì)最著名的用戶隱私泄漏事件發(fā)生在美國馬薩諸塞州。90年代中葉,為了推動(dòng)公共醫(yī)學(xué)研究,該州保險(xiǎn)委員會(huì)發(fā)布了政府雇員的醫(yī)療數(shù)據(jù)。在數(shù)據(jù)發(fā)布之前,為了防止用戶隱私泄露,委員會(huì)對(duì)數(shù)據(jù)進(jìn)行了匿名化處理,即刪除了所有的敏感信息,如姓名、身份證號(hào)和家庭住址等。然而,來自麻省理工大學(xué)的Sweeney成功破解了這份匿名化處理后的醫(yī)療數(shù)據(jù),能夠確定具體某一個(gè)人的醫(yī)療記錄。匿名醫(yī)療數(shù)據(jù)雖然刪除了所有的敏感信息,但仍然保留了三個(gè)關(guān)鍵字段:性別、出生日期和郵編。Sweeney同時(shí)有一份公開的馬薩諸塞州投票人名單(被攻擊者也在其中),包括投票人的姓名、性別、出生年月、住址和郵編等個(gè)人信息。她將兩份數(shù)據(jù)進(jìn)行匹配,發(fā)現(xiàn)匿名醫(yī)療數(shù)據(jù)中與被攻擊者生日相同的人有限,而其中與被攻擊者性別和郵編都相同的人更是少之又少。由此,Sweeney就能確定被攻擊者的醫(yī)療記錄。Sweeney進(jìn)一步研究發(fā)現(xiàn),87%的美國人擁有唯一的性別、出生日期和郵編三元組信息,同時(shí)發(fā)布事實(shí)上幾乎等同于直接公開。
2006年,美國在線公司(AOL)公布了超過65萬用戶三個(gè)月內(nèi)的搜索記錄,以推動(dòng)搜索技術(shù)的研究。AOL同樣對(duì)發(fā)布的數(shù)據(jù)進(jìn)行了匿名化處理,即用一個(gè)隨機(jī)數(shù)代替用戶的賬號(hào)。隨后,《紐約時(shí)報(bào)》成功將部分?jǐn)?shù)據(jù)去匿名化,并公開了其中一位用戶的真實(shí)身份。這起隱私泄漏事件引起了人們的廣泛關(guān)注,美國在線公司因?yàn)榇耸录诒奔又莸胤椒ㄔ罕黄鹪V。美國網(wǎng)飛公司曾(Netflix)舉辦了一個(gè)推薦系統(tǒng)算法競賽,發(fā)布了一些“經(jīng)過匿名化處理的”用戶影評(píng)數(shù)據(jù)供參賽者測試,僅僅保留了每個(gè)用戶對(duì)電影的評(píng)分和評(píng)分的時(shí)間戳。然而,來自德州大學(xué)奧斯汀分校的兩位研究人員借助公開的互聯(lián)網(wǎng)電影數(shù)據(jù)庫(IMDB)的用戶影評(píng)數(shù)據(jù),獲得了IMDB用戶,并不比在Netflix上的全部電影瀏覽信息(包括涉及敏感題材的電影)少。為此,2009年Netflix遭到了4位用戶的起訴,也不得不取消了該競賽。
除了上述幾個(gè)著名的用戶隱私泄露事件,大數(shù)據(jù)帶來的整體性變革,使得個(gè)體用戶很難對(duì)抗個(gè)人隱私被全面暴露的風(fēng)險(xiǎn),谷歌公司著名的街景服務(wù)曾引發(fā)許多攝影對(duì)象的抱怨,他們要求谷歌在街景畫面中屏蔽掉自家住宅或商鋪的圖像,但虛化后的陰影與周邊景象形成了鮮明對(duì)比,促使一些歹徒尋著“此地?zé)o銀三百兩”的提示,按圖索驥地登堂入室。同時(shí),傳統(tǒng)線下企業(yè)的數(shù)據(jù)保護(hù)方式失效了,只要用戶使用智能手機(jī)、上網(wǎng)購物或參與社交媒體互動(dòng),就必須將自己的個(gè)人數(shù)據(jù)所有權(quán)轉(zhuǎn)移給服務(wù)商。更為復(fù)雜的是,經(jīng)過多重交易和多個(gè)第三方渠道的介入,個(gè)人數(shù)據(jù)的權(quán)利邊界消失了或者說模糊不清了,公民的個(gè)人的隱私保護(hù)遇到了嚴(yán)峻的挑戰(zhàn)。
面對(duì)頻發(fā)的隱私泄露事件,隱私保護(hù)問題需要得到有效的解決。解決的途徑包括:制定法律法規(guī)、研發(fā)技術(shù)方法、規(guī)范管理措施三個(gè)方面。
在法律法規(guī)方面,歐美早在七十年代就有專門的隱私保護(hù)法,如下圖所示:
香港在回歸之前就頒布實(shí)施了個(gè)人數(shù)據(jù)條例。該條例1995年頒布,1996年12月20日生效。條例的執(zhí)行由個(gè)人數(shù)據(jù)隱私專員監(jiān)督。該條例管理個(gè)人、企業(yè)、公共機(jī)構(gòu)和政府部門對(duì)于在世人士的相關(guān)數(shù)據(jù)的使用(如果這些數(shù)據(jù)可以有效識(shí)別該在世人士)。香港的PDPO條例主要強(qiáng)調(diào)了數(shù)據(jù)保護(hù)的六大原則: 個(gè)人數(shù)據(jù)收集的目的和方式、個(gè)人數(shù)據(jù)的準(zhǔn)確性和數(shù)據(jù)保留的時(shí)間、個(gè)人數(shù)據(jù)的使用、個(gè)人數(shù)據(jù)的安全性、信息基本有效可用、個(gè)人數(shù)據(jù)的訪問。
我國大陸雖然沒有專門的隱私保護(hù)法,但在多個(gè)法律法規(guī)的條文中涉及到了隱私保護(hù),對(duì)保護(hù)個(gè)人隱私作了間接的、原則性的規(guī)定。例如,《中華人民共和國憲法》第三十八條、第三十九條、第四十條明確了對(duì)公民的人格尊嚴(yán)、住宅、通信自由和通信秘密的保護(hù),這是我國法律對(duì)隱私權(quán)進(jìn)行保護(hù)的最根本的依據(jù);第三十八條規(guī)定:“中華人民共和國公民的人格尊嚴(yán)不受侵犯。禁止用任何方法對(duì)公民進(jìn)行侮辱、誹謗和誣告陷害”,第三十九條規(guī)定:“中華人民共和國公民的住宅不受侵犯。禁止非法搜查或者非法侵八公民的住宅”,第四十條規(guī)定:“中華人民共和國公民的通信自由和通信秘密受法律的保護(hù)。除因國家安全或者追查刑事犯罪的需要,由公安機(jī)關(guān)或者檢察機(jī)關(guān)依照法律規(guī)定的程序?qū)νㄐ胚M(jìn)行檢查外,任何組織或者個(gè)人不得以任何理由侵犯公民的通信自由和通信秘密”?!吨腥A人民共和國合同法》第六十條第二款規(guī)定:“當(dāng)事人應(yīng)當(dāng)遵循誠實(shí)信用原則,根據(jù)合同的性質(zhì)、目的和交易習(xí)慣履行通知、協(xié)助、保密等義務(wù)”。第六十條還規(guī)定:“當(dāng)事人應(yīng)當(dāng)按照約定全面履行自己的義務(wù)。當(dāng)事人應(yīng)當(dāng)遵循誠實(shí)信用原則,根據(jù)合同的性質(zhì)、目的和交易習(xí)慣履行通知、協(xié)助、保密等義務(wù)”。最高人民法院《關(guān)于貫徹執(zhí)行<中華人民共和國民法通則>若干問題的意見(試行)》第140條:“以書面、口頭形式宣場他人的隱私,或者捏造事實(shí)公然丑化他人人格,以及用侮辱、誹謗等方式損害他人名譽(yù),造成一定影響的,應(yīng)當(dāng)認(rèn)定為侵害公民名譽(yù)權(quán)的行為”?!肚謾?quán)責(zé)任法》第三十六條:“網(wǎng)絡(luò)用戶、網(wǎng)絡(luò)服務(wù)提供者利用網(wǎng)絡(luò)侵害他人民事權(quán)益的,應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任……”?!吨腥A人民共和國刑法》第二百五十三條之一:“國家機(jī)關(guān)或者金融、電信、交通、教育、醫(yī)療等單位的工作人員,違反國家規(guī)定,將本單位在履行職責(zé)或者提供服務(wù)過程中獲得的公民個(gè)人信息,出售或者非法提供給他人,情節(jié)嚴(yán)重的,處三年以下有期徒刑或者拘役,并處或者單處罰金。竊取或者以其他方法非法獲取上述信息,情節(jié)嚴(yán)重的,依照前款的規(guī)定處罰。單位犯前兩款罪的,對(duì)單位判處罰金,并對(duì)其直接負(fù)責(zé)的主管人員和其他直接責(zé)任人員,依照各該款的規(guī)定處罰”,等等。這些法律規(guī)定對(duì)于保護(hù)公民的隱私權(quán)具有重要意義。
在技術(shù)方面,隱私保護(hù)的研究領(lǐng)域主要關(guān)注基于數(shù)據(jù)失真的技術(shù)、基于數(shù)據(jù)加密的技術(shù)和基于限制發(fā)布的技術(shù)。
基于數(shù)據(jù)失真的技術(shù)通過添加噪音等方法,使敏感數(shù)據(jù)失真但同時(shí)保持某些數(shù)據(jù)或數(shù)據(jù)屬性不變,仍然可以保持某些統(tǒng)計(jì)方面的性質(zhì)。包括隨機(jī)化,即對(duì)原始數(shù)據(jù)加入隨機(jī)噪聲,然后發(fā)布擾動(dòng)后數(shù)據(jù)的方法;第二種是阻塞與凝聚,阻塞是指不發(fā)布某些特定數(shù)據(jù)的方法,凝聚是指原始數(shù)據(jù)記錄分組存儲(chǔ)統(tǒng)計(jì)信息的方法;第三類是差分隱私保護(hù)。
基于數(shù)據(jù)加密的技術(shù)采用加密技術(shù)在數(shù)據(jù)挖掘過程隱藏敏感數(shù)據(jù)的方法,包括安全多方計(jì)算 SMC,即使兩個(gè)或多個(gè)站點(diǎn)通過某種協(xié)議完成計(jì)算后,每一方都只知道自己的輸入數(shù)據(jù)和所有數(shù)據(jù)計(jì)算后的最終結(jié)果;還包括分布式匿名化,即保證站點(diǎn)數(shù)據(jù)隱私、收集足夠的信息實(shí)現(xiàn)利用率盡量大的數(shù)據(jù)匿名
基于限制發(fā)布的技術(shù)有選擇地發(fā)布原始數(shù)據(jù)、不發(fā)布或者發(fā)布精度較低的敏感數(shù)據(jù),實(shí)現(xiàn)隱私保護(hù)。當(dāng)前這類技術(shù)的研究集中于“數(shù)據(jù)匿名化”,保證對(duì)敏感數(shù)據(jù)及隱私的披露風(fēng)險(xiǎn)在可容忍范圍內(nèi)。包括K-anonymity、L-diversity、T-closeness。
最早被廣泛認(rèn)同的隱私保護(hù)模型是k-匿名,由Samarati和Sweeney在2002年提出,作者正是馬薩諸塞州醫(yī)療數(shù)據(jù)隱私泄露事件的攻擊者。為應(yīng)對(duì)去匿名化攻擊,k-匿名要求發(fā)布的數(shù)據(jù)中每一條記錄都要與其他至少k-1條記錄不可區(qū)分(稱為一個(gè)等價(jià)類)。當(dāng)攻擊者獲得k-匿名處理后的數(shù)據(jù)時(shí),將至少得到k個(gè)不同人的記錄,進(jìn)而無法做出準(zhǔn)確的判斷。參數(shù)k表示隱私保護(hù)的強(qiáng)度,k值越大,隱私保護(hù)的強(qiáng)度越強(qiáng),但丟失的信息更多,數(shù)據(jù)的可用性越低。
然而,美國康奈爾大學(xué)的Machanavajjhala等人在2006年發(fā)現(xiàn)了k-匿名的缺陷,即沒有對(duì)敏感屬性做任何約束,攻擊者可以利用背景知識(shí)攻擊、再識(shí)別攻擊和一致性攻擊等方法來確認(rèn)敏感數(shù)據(jù)與個(gè)人的關(guān)系,導(dǎo)致隱私泄露。例如,攻擊者獲得的k-匿名化的數(shù)據(jù),如果被攻擊者所在的等價(jià)類中都是艾滋病病人,那么攻擊者很容易做出被攻擊者肯定患有艾滋病的判斷(上述就是一致性攻擊的原理)。為了防止一致性攻擊,新的隱私保護(hù)模型l-diversity改進(jìn)了k-匿名,保證任意一個(gè)等價(jià)類中的敏感屬性都至少有l(wèi)個(gè)不同的值。t-Closeness在l-diversity 的基礎(chǔ)上,要求所有等價(jià)類中敏感屬性的分布盡量接近該屬性的全局分布。(a, k)-匿名原則,則在k-匿名的基礎(chǔ)上,進(jìn)一步保證每一個(gè)等價(jià)類中與任意一個(gè)敏感屬性值相關(guān)記錄的百分比不高于a。
然而,上述隱私保護(hù)模型依然有缺陷,需要不斷的被改進(jìn),但同時(shí)又有新的攻擊方法出現(xiàn),使得基于k-匿名的傳統(tǒng)隱私保護(hù)模型陷入這樣一個(gè)無休止的循環(huán)中。從根本上來說,傳統(tǒng)隱私保護(hù)模型的缺陷在于對(duì)攻擊者的背景知識(shí)和攻擊模型都給出了過多的假設(shè)。但這些假設(shè)在現(xiàn)實(shí)中往往并不完全成立,因此攻擊總是能夠找到各種各樣的攻擊方法來進(jìn)行攻擊。直到差分隱私的出現(xiàn),這一問題才得到較好的解決。
差分隱私(differential privacy, DP)是微軟研究院的Dwork在2006年提出的一種新的隱私保護(hù)模型。該方法能夠解決傳統(tǒng)隱私保護(hù)模型的兩大缺陷:(1)定義了一個(gè)相當(dāng)嚴(yán)格的攻擊模型,不關(guān)心攻擊者擁有多少背景知識(shí),即使攻擊者已掌握除某一條記錄之外的所有記錄信息(即最大背景知識(shí)假設(shè)),該記錄的隱私也無法被披露;(2)對(duì)隱私保護(hù)水平給出了嚴(yán)謹(jǐn)?shù)亩x和量化評(píng)估方法。正是由于差分隱私的諸多優(yōu)勢,使其一出現(xiàn)便迅速取代傳統(tǒng)隱私保護(hù)模型,成為當(dāng)前隱私研究的熱點(diǎn),并引起了理論計(jì)算機(jī)科學(xué)、數(shù)據(jù)庫、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域的關(guān)注。
在管理領(lǐng)域,我國各部門也在制定一些強(qiáng)制管理措施保護(hù)隱私信息。
總之,隱私保護(hù)在大數(shù)據(jù)時(shí)代是不可回避的,需要拿出切實(shí)可行的法律、技術(shù)、管理措施,并嚴(yán)格遵照?qǐng)?zhí)行。同時(shí),廣大民眾也應(yīng)該養(yǎng)成保護(hù)個(gè)人隱私信息的意識(shí)和習(xí)慣,用技術(shù)和法律的手段捍衛(wèi)自己的合法權(quán)益。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10