
大數(shù)據(jù)對不同的社會群體不會厚此薄彼
大數(shù)據(jù)的鼓吹者希望人們相信,在一行行的代碼和龐大數(shù)據(jù)庫的背后存在著有關(guān)人類行為模式的客觀、普遍的洞察,不管是消費者的支出規(guī)律、犯罪或恐怖主義行動、健康習慣,還是雇員的生產(chǎn)效率。但是許多大數(shù)據(jù)的傳道者不愿正視其不足。數(shù)字無法自己說話,而數(shù)據(jù)集——不管它們具有什么樣的規(guī)?!匀皇侨祟愒O(shè)計的產(chǎn)物。
大數(shù)據(jù)的工具——例如ApacheHadoop軟件框架——并不能使人們擺脫曲解、隔閡和錯誤的成見。當大數(shù)據(jù)試圖反映人們所生活的社會化世界時,這些因素變得尤其重要,而人們卻常常會傻乎乎地認為這些結(jié)果總是要比人為的意見來得客觀些。偏見和盲區(qū)存在于大數(shù)據(jù)中,就像它們存在于個人的感覺和經(jīng)驗中一樣。不過存在一種值得懷疑的信條,即認為數(shù)據(jù)總是越大越好,而相關(guān)性也等同于因果關(guān)系。
例如,社交媒體是大數(shù)據(jù)分析的一個普遍的信息源,那里無疑有許多信息可以挖掘。人們被告知,推特網(wǎng)的數(shù)據(jù)顯示人們在離家越遠的時候越快樂,而且在周四晚上最為沮喪。但是存在許多理由對這些數(shù)據(jù)的含義提出質(zhì)疑。
首先,人們從皮尤研究中心獲悉,美國上網(wǎng)的成年人中只有16%使用推特網(wǎng),因而他們絕對不是一個具有代表性的樣本——與整體人口相比,他們中年輕人和城市人的比例偏多。
此外,人們知道許多推特賬號是被稱作“機器人”程序的自動程序、虛假賬號或是“半機器人”系統(tǒng)(即得到機器人程序輔助的人為控制賬號)。最近的估計顯示,可能存在多達2000萬個虛假賬號。因此就算人們想要踏入有關(guān)如何評估推特網(wǎng)用戶情緒的方法論雷場之前,請先問一下這些情緒究竟是來自真人,還是來自自動化算法系統(tǒng)。
“大數(shù)據(jù)將使我們的城市變得更加智能和高效?!痹谝欢ǔ潭壬鲜堑?。
大數(shù)據(jù)可以提供幫助改善城市的寶貴見識,但是它對人們的幫助僅此而已。因為數(shù)據(jù)在生成或采集的過程并不都是平等的,大數(shù)據(jù)集存在“信號問題”——即某些民眾和社區(qū)被忽略或未得到充分代表,這被稱為數(shù)據(jù)黑暗地帶或陰影區(qū)域。因此大數(shù)據(jù)在城市規(guī)劃中的應(yīng)用在很大程度上取決于市政官員對數(shù)據(jù)及其局限性的了解。
例如,波士頓的StreetBump應(yīng)用程序是一個比較聰明的以低成本收集信息的途徑。該程序從開車經(jīng)過路面坑洼處的駕駛員的智能手機上收集數(shù)據(jù)。更多類似的應(yīng)用正在出現(xiàn)。但是如果城市開始依靠僅來自智能手機用戶的信息,那么這些市民只是一個自我選擇樣本——它必然導致?lián)碛休^少智能手機用戶的社區(qū)的數(shù)據(jù)缺失,這樣的社區(qū)人群通常包括了年老和不那么富有的市民。
盡管波士頓的新城市機械辦公室作出了多項努力來彌補這些潛在的數(shù)據(jù)缺陷,但不那么負責的公共官員可能會遺漏這些補救措施,最終會得到不均衡的數(shù)據(jù),從而進一步加劇已有的社會不公。人們只要回顧一下曾經(jīng)過高估計了年度流感發(fā)病率的2012年“谷歌流感趨勢”,就可以認識到依賴有缺陷的大數(shù)據(jù)可能給公共服務(wù)及公共政策造成的影響。
在網(wǎng)上公開政府部門數(shù)據(jù)的“開放政府”計劃——如Data.gov網(wǎng)站及“白宮開放政府計劃”——也存在同樣的情況。更多的數(shù)據(jù)未必會改善政府的任何功能,包括透明度和問責,除非存在可以使公眾和公共機構(gòu)保持接觸的機制,更不用說促進政府解釋數(shù)據(jù)并以足夠的資源作出反應(yīng)的能力。所有這些都非易事。事實上,人們身邊還沒有很多技能高超的數(shù)據(jù)科學家。各大學目前正在爭相定義這一行當、制訂教程和滿足市場需求。
“大數(shù)據(jù)對不同的社會群體不會厚此薄彼?!睅缀醪皇沁@樣。
對大數(shù)據(jù)所號稱的客觀性的另一個期待是對于少數(shù)群體的歧視將會減少,因為原始數(shù)據(jù)總是不含社會偏見的,這使得分析可以在大規(guī)模的水平上進行,從而避免基于群體的歧視。然而,由于大數(shù)據(jù)能夠作出有關(guān)群體不同行為方式的論斷,它們的使用通常恰恰就是為了實現(xiàn)這個目的——即把不同的個體歸入不同的群體中。例如,最近有一篇論文指科學家聽任自己的種族偏見影響有關(guān)基因組的大數(shù)據(jù)研究。
大數(shù)據(jù)有可能被用來搞價格歧視,從而引發(fā)嚴重的民權(quán)擔憂。這種做法在歷史上曾被稱為“劃紅線”。最近,劍橋大學對臉譜網(wǎng)5.8萬個“喜歡”標注進行的大數(shù)據(jù)研究被用來預測用戶極其敏感的個人信息,如性取向、種族、宗教和政治觀點、性格特征、智力水平、快樂與否、成癮藥物使用、父母婚姻狀況、年齡及性別等。
記者湯姆 福爾姆斯基這樣評價該項研究:“此類容易獲得的高度敏感信息可能會被雇主、房東、政府部門、教育機構(gòu)及私營組織用來對個人實施歧視和懲罰。而人們沒有任何抗爭的手段?!?/span>
最后考慮一下在執(zhí)法方面的影響。從華盛頓到特拉華州的紐卡斯爾縣,警方正在求助于大數(shù)據(jù)的“預測性警事”模型,希望能夠為懸案的偵破提供線索,甚至可以幫助預防未來的犯罪。
不過,讓警方把工作專注于大數(shù)據(jù)所發(fā)現(xiàn)的特定“熱點”,存在著強化警方對聲譽不佳的社會群體的懷疑以及使差別化執(zhí)法成為制度的危險。正如某位警察局長撰文指出的,盡管預測性警事算法系統(tǒng)不考慮種族和性別等因素,但是如果沒有對差別化影響的考慮,使用這種系統(tǒng)的實際結(jié)果可能“會導致警方與社區(qū)關(guān)系惡化,讓公眾產(chǎn)生司法程序缺失的感覺,引發(fā)種族歧視指控,并使警方的合法性受到威脅?!?/span>
“大數(shù)據(jù)是匿名的,因此它不會侵犯我們的隱私。”大錯特錯。
盡管許多大數(shù)據(jù)的提供者盡力消除以人類為對象的數(shù)據(jù)集中的個體身份,但身份重新被確認的風險仍然很大。蜂窩電話數(shù)據(jù)看起來也許相當匿名,但是最近對歐洲150萬手機用戶的數(shù)據(jù)集進行的研究表明,只需要4項參照因素就足以挨個確認其中95%的人員的身份。研究人員指出,人們在城市中走過的路徑存在唯一性,而鑒于利用大量公共數(shù)據(jù)集可以推斷很多信息,這使個人隱私成為“日益嚴重的擔憂”。
但是大數(shù)據(jù)的隱私問題遠遠超出了常規(guī)的身份確認風險的范疇。目前被出售給分析公司的醫(yī)療數(shù)據(jù)有可能被用來追查到個人的身份。關(guān)于個性化醫(yī)療有很多談?wù)?,人們的希望是將來可以針對個人研制藥物和其他療法,就好像這些藥物和療法是利用患者自己的DNA制作出來的。
就提高醫(yī)學的功效而言,這是個美妙的前景,但這本質(zhì)上依賴于分子和基因水平上的個人身份確認,這種信息一旦被不當使用或泄露就會帶來很大的風險。盡管像RunKeeper和Nike+等個人健康數(shù)據(jù)收集應(yīng)用得到了迅速發(fā)展,但在實踐中用大數(shù)據(jù)改善醫(yī)療服務(wù)仍然還只是一種愿望,而不是現(xiàn)實。
高度個人化的大數(shù)據(jù)集將成為黑客或泄露者覬覦的主要目標。維基揭密網(wǎng)一直處在近年幾起最嚴重的大數(shù)據(jù)泄密事件的中心。正如從英國離岸金融業(yè)大規(guī)模數(shù)據(jù)泄露事件中看到的,與其他所有人一樣,世界上最富有的1%人口的個人信息也極易遭到公開。
“大數(shù)據(jù)是科學的未來?!辈糠终_,但它還需要一些成長。
大數(shù)據(jù)為科學提供了新的途徑。人們只需看一下希格斯玻色子的發(fā)現(xiàn),它是歷史上最大規(guī)模網(wǎng)格計算項目的產(chǎn)物。在該項目中,歐洲核子研究中心利用Hadoop分布式文件系統(tǒng)對所有數(shù)據(jù)進行管理。但是除非人們認識到并著手解決大數(shù)據(jù)在反映人類生活方面的某些內(nèi)在不足,否則可能會依據(jù)錯誤的成見作出重大的公共政策和商業(yè)決定。
為了解決這個問題,數(shù)據(jù)科學家正在開始與社會科學家協(xié)作。隨著時間的推移,這將意味著找到把大數(shù)據(jù)策略和小數(shù)據(jù)研究相結(jié)合的新途徑。這將遠遠超越廣告業(yè)或市場營銷業(yè)采用的做法,如中心小組或A/B測試(即向用戶展示兩個版本的設(shè)計或結(jié)果,以確定哪一個版本的效果更好)。確切地說,新的混合式方法將會詢問人們做某些事情的原因,而不只是統(tǒng)計某件事情發(fā)生的頻率。這意味著在信息檢索和機器學習之外,還將利用社會學分析和關(guān)于人種學的深刻認識。
技術(shù)企業(yè)很早就意識到社會科學家可以幫助它們更加深刻地認識人們與其產(chǎn)品發(fā)生關(guān)系的方式和原因,如施樂公司研究中心就曾聘請了具有開拓精神的人類學家露西 薩奇曼。下一階段將是進一步豐富計算機科學家、統(tǒng)計學家及眾多門類的社會科學家之間的協(xié)作——不僅是為了檢驗各自的研究成果,而且還要以更加嚴格的態(tài)度提出截然不同的各類問題。
考慮到每天有大量關(guān)于人們的信息——包括臉譜網(wǎng)點擊情況、全球定位系統(tǒng)(GPS)數(shù)據(jù)、醫(yī)療處方和Netflix預訂隊列——被收集起來,人們遲早要決定把這樣的信息托付給什么人,以及用它們來實現(xiàn)什么樣的目的。人們無法回避這樣的事實,即數(shù)據(jù)絕不是中立的,它很難保持匿名。但是人們可以利用跨越不同領(lǐng)域的專業(yè)知識,從而更好地辨別偏見、缺陷和成見,正視隱私和公正將面臨的新挑戰(zhàn)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07