淺談：大數(shù)據(jù)幾個爭議點_數(shù)據(jù)分析師

“大數(shù)據(jù)”是近年來國內(nèi)外業(yè)界與學(xué)界熱議的一個話題。它不僅是對一種技術(shù)發(fā)展趨勢的描述，也被視為蘊含著發(fā)展機遇的“下一個創(chuàng)新、競爭和生產(chǎn)力的前沿”。就像農(nóng)業(yè)時代的土地、工業(yè)時代的能源，數(shù)據(jù)被看作是信息時代的核心資源。而“大數(shù)據(jù)”概念的產(chǎn)生，意味著人們對這一資源的認(rèn)識正在不斷深化，為我們理解和改造世界打開了一扇新的大門。

但總的來說，“大數(shù)據(jù)”仍然屬于新生事物，人們對相關(guān)議題還存在很多不同的、乃至針鋒相對的理解。圍繞“大數(shù)據(jù)”的各種爭議既展示了這個概念所涉議題的復(fù)雜性，也說明這一領(lǐng)域的實踐與認(rèn)識剛剛開始，未來有著無限的可能性。本文選取幾個主要的爭議點，以呈現(xiàn)一幅更加豐富的“大數(shù)據(jù)”圖景。

“大數(shù)據(jù)”叫錯了?

“大數(shù)據(jù)”從字面上理解是指規(guī)模很大的數(shù)據(jù)。如麥肯錫在2011年報告中的最早界定，“大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲存、管理和分析能力的數(shù)據(jù)集?！壳?，大數(shù)據(jù)的一般范圍是從幾個TB到數(shù)個PB(數(shù)千TB)?！?/span>

所謂量變引起質(zhì)變，基于大規(guī)模的數(shù)據(jù)，人們可以進(jìn)行很多具有想象力和創(chuàng)造力的探索和實踐，而這些探索和實踐是在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法完成、甚至無法想象的?！崩?，視頻網(wǎng)站Netflix通過分析海量用戶的觀看行為數(shù)據(jù)，成功地推出劇集《紙牌屋》;又如，谷歌通過跟蹤分析用戶搜索關(guān)鍵詞的海量數(shù)據(jù)，對美國流感疫情的估測值與美國疾病控制和預(yù)防中心的報告基本一致。

然而有一些論者認(rèn)為，“大數(shù)據(jù)”的命名并不恰當(dāng)。因為數(shù)據(jù)規(guī)模大并非“大數(shù)據(jù)”的核心特征，也沒有體現(xiàn)新技術(shù)趨勢的本質(zhì)。一種觀點認(rèn)為，數(shù)據(jù)“在線”比數(shù)據(jù)“大”更體現(xiàn)新技術(shù)趨勢的核心特征。如阿里巴巴集團CTO兼阿里云總裁王堅稱，數(shù)據(jù)的“在線”遠(yuǎn)遠(yuǎn)比數(shù)據(jù)“大”更反映本質(zhì)，更體現(xiàn)互聯(lián)網(wǎng)的特點，而不在線的數(shù)據(jù)再大也沒什么價值。而且，“在線”還使得數(shù)據(jù)搜集、整理、分析變得容易，并且能夠反過來快速對社會產(chǎn)生影響。

還有一種觀點認(rèn)為，“長數(shù)據(jù)”(long data)比“大”數(shù)據(jù)更值得關(guān)注，“長數(shù)據(jù)”即從文明起源至今有關(guān)歷史事實的數(shù)據(jù)集。哈佛大學(xué)應(yīng)用數(shù)學(xué)家薩繆爾·阿布斯曼認(rèn)為，“大”數(shù)據(jù)所呈現(xiàn)的只是信息與知識的切片，只有將數(shù)據(jù)置入長時段的歷史中我們才能獲取信息與知識的完整圖景。而“長數(shù)據(jù)”不僅能夠分析長時段的變遷，也能為當(dāng)下的趨勢變化提供背景。

大數(shù)據(jù)時代，數(shù)據(jù)抽樣、因果關(guān)系不再重要?

《大數(shù)據(jù)時代》的作者維克托·邁爾-舍恩伯格認(rèn)為，大數(shù)據(jù)時代在分析信息時發(fā)生了三大轉(zhuǎn)變：第一個轉(zhuǎn)變是可供分析的數(shù)據(jù)更多，甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù)，而不再依賴于隨機采樣，因為采樣分析是信息匱乏時代和信息流通受限制的模擬數(shù)據(jù)時代的產(chǎn)物;第二個轉(zhuǎn)變是追求精確度已變得不可行和不需要，只有掌握大體發(fā)展方向即可;第三個轉(zhuǎn)變因前兩個轉(zhuǎn)變而促成，我們無須緊盯事物之間的因果關(guān)系，而應(yīng)該尋找相關(guān)關(guān)系。大數(shù)據(jù)告訴我們“是什么”而不是“為什么”，“在大數(shù)據(jù)時代，我們不必知道現(xiàn)象背后的原因，我們只要讓數(shù)據(jù)自己發(fā)聲?！?/span>

上述三大轉(zhuǎn)變的闡述，有一些常用的案例支撐。如亞馬遜網(wǎng)站根據(jù)用戶在其網(wǎng)站上的類似查詢數(shù)據(jù)來進(jìn)行產(chǎn)品推薦;Twitter等社交網(wǎng)絡(luò)通過用戶的社交網(wǎng)絡(luò)圖來獲知用戶喜好。

這些說法招致很多質(zhì)疑。大數(shù)據(jù)可能是存在系統(tǒng)性偏差的數(shù)據(jù)，如果不對數(shù)據(jù)總體、數(shù)據(jù)可靠性與數(shù)據(jù)來源進(jìn)行審慎考慮，即使數(shù)據(jù)規(guī)模再大也無法提供關(guān)于某個現(xiàn)象的可靠結(jié)論。例如，通過分析Twitter的海量數(shù)據(jù)發(fā)現(xiàn)，人們遠(yuǎn)離家庭時更快樂，在周四的晚上最悲傷。但這個結(jié)論的可靠度很低。首先，來自皮尤研究中心的資料顯示，只有16%的美國成年網(wǎng)民使用Twitter，這顯然不是一個有代表性的樣本，它突出了年輕人群體和大城市人口。其次，我們知道很多Twitter賬戶是由機器自動控制或輔助操作的。最新的估算認(rèn)為，Twitter上可能有2000萬虛假賬戶。因此，數(shù)據(jù)捕捉到的那些“人類感情”很可能是由機器表達(dá)的。

不僅如此，當(dāng)數(shù)據(jù)規(guī)模增大之后，其出現(xiàn)錯誤的可能也隨之增大。北大教授劉德寰以自已翔實的實驗數(shù)據(jù)證明，巨量數(shù)據(jù)集和細(xì)顆粒度的測量會導(dǎo)致出現(xiàn)“錯誤發(fā)現(xiàn)”的風(fēng)險增加。他說，“那種認(rèn)為“假設(shè)、檢驗、驗證的科學(xué)方法已經(jīng)過時”的論調(diào)，正是大數(shù)據(jù)時代的混亂與迷茫。”

劉德寰教授還認(rèn)為，大數(shù)據(jù)并不是新事物，天氣、地震、量子物理、基因、醫(yī)學(xué)等領(lǐng)域都產(chǎn)生巨量數(shù)據(jù)，而這些學(xué)科都在使用抽樣調(diào)查的方法?；ヂ?lián)網(wǎng)數(shù)據(jù)挖掘方法論也如此。既然是關(guān)于人的研究就需應(yīng)用所有研究人的方法梳理大數(shù)據(jù)。

而大數(shù)據(jù)時代相關(guān)關(guān)系比因果關(guān)系更重要的論斷引發(fā)了更多的爭議?！洞髷?shù)據(jù)時代》的譯者周濤認(rèn)為這種觀點是“機器學(xué)習(xí)和以結(jié)果為導(dǎo)向的研究思路”使然，而與大數(shù)據(jù)無關(guān)。還有批評者認(rèn)為，使用大規(guī)模統(tǒng)計發(fā)現(xiàn)現(xiàn)象關(guān)聯(lián)性的相關(guān)分析只是科學(xué)研究的初級階段，但相關(guān)性結(jié)論并不能保證有效地指導(dǎo)實際生活。例如，夏天冷飲銷量與蚊子數(shù)量在統(tǒng)計上是相關(guān)的，但這種相關(guān)性的價值不大。又如，統(tǒng)計表明吸煙與肺癌是相關(guān)的，那么能否得出為了身份健康就應(yīng)該戒煙的結(jié)論呢?答案是不能。因為你無法從這種相關(guān)分析中分辨到底是“吸煙的人更容易得肺癌”，還是“肺癌患者大部分都愛吸煙”。

因此，只有繼續(xù)深化對相關(guān)關(guān)系的認(rèn)識，找到事物之間的因果關(guān)系及背后的作用機制，才能獲得有用并且可靠的知識。換個角度說，雖然相關(guān)分析對于解決特定領(lǐng)域的問題已經(jīng)足夠，如阿里巴巴的購物推薦，但不同領(lǐng)域的問題并不相通，并不可一概而論。

大數(shù)據(jù)的社會倫理爭議

大數(shù)據(jù)時代，各種新技術(shù)、新應(yīng)用帶來了種種生活便利與可能性，而這些技術(shù)和應(yīng)用的前提是數(shù)據(jù)是開放的和可獲取的。這些生活便利與新可能性的代價往往是個人隱私，也就是說，大數(shù)據(jù)時代網(wǎng)絡(luò)獲取的數(shù)據(jù)越多，其提供服務(wù)的能力便越強。這種特征蘊含著一系列的價值沖突與社會倫理爭議。

首先，是對個人隱私權(quán)的擔(dān)憂。盡管許多數(shù)據(jù)提供者盡力避免泄露個人隱私，但是這種風(fēng)險仍然很大。比如手機使用數(shù)據(jù)，看起來似乎是匿名的，但是最近歐洲一項針對150萬手機用戶的研究表明，只需要四個參考點(four points of reference)就能識別95%的個人用戶。而把醫(yī)療數(shù)據(jù)出售給分析公司存在同樣的風(fēng)險，這些數(shù)據(jù)對于提供針對性強的個性化治療方案十分有幫助，但是個人醫(yī)療記錄很可能被不當(dāng)使用或泄露。

即使看起來不那么重要的個人數(shù)據(jù)(如年齡、性別)，被泄露后也可能造成信息安全風(fēng)險。有研究稱，只要知道一個人的年齡、性別和郵編，便可識別出87%人的身份。因為大數(shù)據(jù)公司可以根據(jù)這些數(shù)據(jù)與公開的數(shù)據(jù)庫交叉比對，并結(jié)合對個人行為特征的分析，如購買了哪些商品，所處位置，便可以生成一系列的“推測數(shù)據(jù)”(inferred data)而危及個人信息安全。

其次，大數(shù)據(jù)有可能加劇歧視現(xiàn)象。人們普遍認(rèn)為大數(shù)據(jù)不存在“社會偏見”，因為分析是在一個廣泛的層面進(jìn)行的，能夠回避基于群體的歧視現(xiàn)象。但事實上，大數(shù)據(jù)通常把個體歸入某個群體，從而得出群體之間差異表現(xiàn)的結(jié)論。有業(yè)界人士指出，大數(shù)據(jù)被用作價格歧視工具的隱患已經(jīng)引起了有關(guān)公民權(quán)的強烈擔(dān)憂。大數(shù)據(jù)可以被用來區(qū)隔不同的社會群體，并對他們區(qū)別對待，特別是用于商業(yè)用途，而法律通常明確禁止商業(yè)活動這樣做。

最近劍橋大學(xué)針對Facebook的一項大數(shù)據(jù)研究被用來估測一些非常敏感的用戶個人信息，例如性取向、種族、宗教、政治傾向、性格、智力、幸福感、吸毒情況、父母婚姻狀況、年齡和性別等。有業(yè)內(nèi)人士認(rèn)為，這些高度敏感的信息可能被雇主、房東、政府機構(gòu)、教育機構(gòu)和私營組織輕易獲取，用于對某些個體的歧視和懲罰。

最后，大數(shù)據(jù)還可能造成數(shù)據(jù)壟斷?！按髷?shù)據(jù)”時代也帶來信息存儲和管理的集中化。這是因為能夠擁有大數(shù)據(jù)的往往是擁有強大技術(shù)實力與廣泛用戶的大公司。只有大公司才有技術(shù)能力、資金實力自建平臺，來存儲、分析海量數(shù)據(jù)，進(jìn)而在大數(shù)據(jù)中發(fā)掘價值。

例如，F(xiàn)acebook到2012年約有10億用戶，覆蓋了大約10%的全球人口，這個巨大的社交網(wǎng)絡(luò)內(nèi)所有的關(guān)系和活動在數(shù)據(jù)化之后都為一家公司所掌控。這也意味著，這些大公司有可能為了維護自己的利益與壟斷地位，而拒絕公開數(shù)據(jù)。大數(shù)據(jù)最終可能變成少數(shù)幾個大公司的游戲。