外媒國(guó)外媒體全面深度分析大數(shù)據(jù)的革命_數(shù)據(jù)分析師

大數(shù)據(jù)”是當(dāng)前的時(shí)髦術(shù)語(yǔ)，是技術(shù)界用來(lái)解決世界上最難處理的問(wèn)題的全能辦法。這個(gè)術(shù)語(yǔ)一般用來(lái)描述對(duì)海量信息進(jìn)行數(shù)據(jù)分析，從而發(fā)現(xiàn)規(guī)律、收集有價(jià)值的見(jiàn)解和預(yù)言復(fù)雜問(wèn)題答案的技巧與科學(xué)。大數(shù)據(jù)分析也許聽(tīng)起來(lái)有些乏味，但是從制止恐怖分子，到消除貧困，到拯救地球，對(duì)于大數(shù)據(jù)的鼓吹者來(lái)說(shuō)，沒(méi)有什么問(wèn)題是解決不了的。

    維克托?梅耶—舍恩伯格和肯尼思?丘基爾在有著樸素書(shū)名的《大數(shù)據(jù)：一次將改變我們生活、工作和思考方式的革命》一書(shū)中歡呼道：“對(duì)社會(huì)的好處將是無(wú)窮無(wú)盡的，因?yàn)榇髷?shù)據(jù)在一定程度上將解決迫在眉睫的全球問(wèn)題，如處理氣候變化、根除疾病以及促進(jìn)善政和經(jīng)濟(jì)發(fā)展等?！?/span>

    只要有足夠多的數(shù)據(jù)可以處理———不管是你的iPhone上的數(shù)據(jù)、雜貨店購(gòu)物狀況、在線約會(huì)網(wǎng)站個(gè)人簡(jiǎn)介或者是整個(gè)國(guó)家的匿名健康記錄，利用對(duì)這些原始數(shù)據(jù)進(jìn)行解碼的計(jì)算能力，人們可以獲得數(shù)不勝數(shù)的有價(jià)值的見(jiàn)解。甚至連奧巴馬政府也已經(jīng)趕上了這股潮流，并在5月9日向企業(yè)家、研究人員和公眾“破天荒”發(fā)布了大量“以前難以獲取或難以管理的數(shù)據(jù)”。

    然而，大數(shù)據(jù)真的完全像人們吹噓的那樣嗎？我們能相信眾多的1和0將能揭示人類行為的隱秘世界嗎？以下是作者對(duì)所謂大數(shù)據(jù)理論的思索。

    1.“有了足夠的數(shù)據(jù)，數(shù)字就可以自己說(shuō)話”

    沒(méi)門(mén)兒。大數(shù)據(jù)的鼓吹者希望我們相信，在一行行的代碼和龐大數(shù)據(jù)庫(kù)的背后存在著有關(guān)人類行為模式的客觀、普遍的有價(jià)值的見(jiàn)解，不管是消費(fèi)者的支出規(guī)律、犯罪或恐怖主義行動(dòng)、健康習(xí)慣，還是雇員的生產(chǎn)效率。但是許多大數(shù)據(jù)的傳道者不愿正視其不足。

    數(shù)字無(wú)法自己說(shuō)話，而數(shù)據(jù)集———不管它們具有什么樣的規(guī)?！匀皇侨祟愒O(shè)計(jì)的產(chǎn)物。大數(shù)據(jù)的工具———例如ApacheHadoop軟件框架———并不能使我們擺脫曲解、隔閡和錯(cuò)誤的成見(jiàn)。

    當(dāng)大數(shù)據(jù)試圖反映我們所生活的社會(huì)化世界時(shí)，這些因素變得尤其重要，而我們卻常常會(huì)傻乎乎地認(rèn)為這些結(jié)果總是要比人為的意見(jiàn)來(lái)得客觀些。偏見(jiàn)和盲區(qū)存在于大數(shù)據(jù)中，就像它們存在于個(gè)人的感覺(jué)和經(jīng)驗(yàn)中一樣。不過(guò)存在一種值得懷疑的信條，即認(rèn)為數(shù)據(jù)總是越大越好，而相關(guān)性也等同于因果關(guān)系。

    例如，社交媒體是大數(shù)據(jù)分析的一個(gè)普遍的信息源，那里無(wú)疑有許多信息可以挖掘。我們被告知，推特網(wǎng)的數(shù)據(jù)顯示人們?cè)陔x家越遠(yuǎn)的時(shí)候越快樂(lè)，而且在周四晚上最 為沮喪。但是存在許多理由對(duì)這些數(shù)據(jù)的含義提出質(zhì)疑。首先，我們從皮尤研究中心獲悉，美國(guó)上網(wǎng)的成年人中只有16%使用推特網(wǎng)，因而他們絕對(duì)不是一個(gè)具有 代表性的樣本———與整體人口相比，他們中年輕人和城市人的比例偏多。

    此外，我們知道許多推特賬號(hào)是被稱作“機(jī)器人”程序的自動(dòng)程序、虛假賬號(hào)或是“半機(jī)器人”系統(tǒng)(即得到機(jī)器人程序輔助的人為控制賬號(hào))。最近的估計(jì)顯示，可 能存在多達(dá)2000萬(wàn)個(gè)虛假賬號(hào)。因此就算我們要想踏入有關(guān)如何評(píng)估推特網(wǎng)用戶情緒的方法論雷場(chǎng)之前，讓我們先問(wèn)一下這些情緒究竟是來(lái)自真人，還是來(lái)自自 動(dòng)化算法系統(tǒng)。

    2.“大數(shù)據(jù)將使我們的城市變得更加智能和高效”

    在一定程度上是的。大 數(shù)據(jù)可以提供幫助改善我們城市的寶貴見(jiàn)識(shí)，但是它對(duì)我們的幫助僅此而已。因?yàn)閿?shù)據(jù)在生成或采集的過(guò)程并不都是平等的，大數(shù)據(jù)集存在“信號(hào)問(wèn)題”———即某 些民眾和社區(qū)被忽略或未得到充分代表，這被稱為數(shù)據(jù)黑暗地帶或陰影區(qū)域。因此大數(shù)據(jù)在城市規(guī)劃中的應(yīng)用在很大程度上取決于市政官員對(duì)數(shù)據(jù)及其局限性的了 解。

    例如，波士頓的StreetBump應(yīng)用程序是一個(gè)比較聰明的以低成本收集信息的途徑。該程序從開(kāi)車經(jīng)過(guò)路面坑洼處的駕駛員的智能手機(jī)上收集數(shù)據(jù)。更多類似 的應(yīng)用正在出現(xiàn)。但是如果城市開(kāi)始依靠?jī)H來(lái)自智能手機(jī)用戶的信息，那么這些市民只是一個(gè)自我選擇樣本———它必然導(dǎo)致?lián)碛休^少智能手機(jī)用戶的社區(qū)的數(shù)據(jù)缺 失，這樣的社區(qū)人群通常包括了年老和不那么富有的市民。

    盡管波士頓的新城市機(jī)械辦公室作出了多項(xiàng)努力來(lái)彌補(bǔ)這些潛在的數(shù)據(jù)缺陷，但不那么負(fù)責(zé)的公共官員可能會(huì)遺漏這些補(bǔ)救措施，最終會(huì)得到不均衡的數(shù)據(jù)，從而進(jìn)一 步加劇已有的社會(huì)不公。人們只要回顧一下曾經(jīng)過(guò)高估計(jì)了年度流感發(fā)病率的2012年“谷歌流感趨勢(shì)”，就可以認(rèn)識(shí)到依賴有缺陷的大數(shù)據(jù)可能給公共服務(wù)及公 共政策造成的影響。

    在網(wǎng)上公開(kāi)政府部門(mén)數(shù)據(jù)的“開(kāi)放政府”計(jì)劃———如Data.gov網(wǎng)站及“白宮開(kāi)放政府計(jì)劃”———也存在同樣的情況。更多的數(shù)據(jù)未必會(huì)改善政府的任何功 能，包括透明度和問(wèn)責(zé)，除非存在可以使公眾和公共機(jī)構(gòu)保持接觸的機(jī)制，更不用說(shuō)促進(jìn)政府解釋數(shù)據(jù)并以足夠的資源作出反應(yīng)的能力。所有這些都非易事。事實(shí) 上，我們身邊還沒(méi)有很多技能高超的數(shù)據(jù)科學(xué)家。各大學(xué)目前正在爭(zhēng)相定義這一領(lǐng)域、制訂教程和滿足市場(chǎng)需求。

    .“大數(shù)據(jù)對(duì)不同的社會(huì)群體不會(huì)厚此薄彼”

    幾乎不是這樣。對(duì) 大數(shù)據(jù)所號(hào)稱的客觀性的另一個(gè)期待是對(duì)于少數(shù)群體的歧視將會(huì)減少，因?yàn)樵紨?shù)據(jù)總是不含社會(huì)偏見(jiàn)的，這使得分析可以在整體水平上進(jìn)行，從而避免基于群體的 歧視。然而，由于大數(shù)據(jù)能夠作出有關(guān)群體不同行為方式的論斷，它們的使用通常恰恰就是為了實(shí)現(xiàn)一個(gè)目的———即把不同的個(gè)體歸入不同的群體中。例如，最近 有一篇論文指科學(xué)家聽(tīng)任自己的種族偏見(jiàn)影響有關(guān)基因組的大數(shù)據(jù)研究。

    大數(shù)據(jù)有可能被用來(lái)搞價(jià)格歧視，從而引發(fā)嚴(yán)重的民權(quán)擔(dān)憂。這種做法在歷史上曾被稱為“劃紅線”。最近，劍橋大學(xué)對(duì)臉譜網(wǎng)5.8萬(wàn)個(gè)“喜歡”標(biāo)注進(jìn)行的大數(shù)據(jù)研究被用來(lái)預(yù)測(cè)用戶極其敏感的個(gè)人信息，如性取向、種族、宗教和政治觀點(diǎn)、性格特征、智力水平、快樂(lè)與否、成癮藥物使用、父母婚姻狀況、年齡及性別等。

    記者湯姆?福爾姆斯基這樣評(píng)價(jià)該項(xiàng)研究：“此類容易獲得的高度敏感信息可能會(huì)被雇主、房東、政府部門(mén)、教育機(jī)構(gòu)及私營(yíng)組織用來(lái)對(duì)個(gè)人實(shí)施歧視和懲罰。而人們沒(méi)有任何抗?fàn)幍氖侄??！?/span>

    最后考慮一下在執(zhí)法方面的影響。從華盛頓到特拉華州的紐卡斯?fàn)柨h，警方正在求助于大數(shù)據(jù)的“預(yù)測(cè)性警事”模型，希望能夠?yàn)閼野傅膫善铺峁┚€索，甚至可以幫助預(yù)防未來(lái)的犯罪。不過(guò)，讓警方把工作專注于大數(shù)據(jù)所發(fā)現(xiàn)的特定“熱點(diǎn)”，存在著強(qiáng)化警方對(duì)聲譽(yù)不佳的社會(huì)群體的懷疑以及使差別化執(zhí)法成為制度的危險(xiǎn)。

    正如某位警察局局長(zhǎng)撰文指出的，盡管預(yù)測(cè)性警事登記系統(tǒng)不考慮種族和性別等因素，但是如果沒(méi)有對(duì)差別化影響的考慮，使用這種系統(tǒng)的實(shí)際結(jié)果可能“會(huì)導(dǎo)致警方與社區(qū)關(guān)系惡化，讓公眾產(chǎn)生司法程序缺失的感覺(jué)，引發(fā)種族歧視指控，并使警方的合法性受到威脅”。

    4.“大數(shù)據(jù)是匿名的，因此它不會(huì)侵犯我們的隱私”

    大錯(cuò)特錯(cuò)。盡管許多大數(shù)據(jù)的提供者盡力消除以人類為對(duì)象的數(shù)據(jù)集中的個(gè)體身份，但身份重新被確認(rèn)的風(fēng)險(xiǎn)仍然很大。蜂窩電話數(shù)據(jù)看起來(lái)也許相當(dāng)匿名，但是最近對(duì)歐洲150萬(wàn)手機(jī)用戶的數(shù)據(jù)集進(jìn)行的研究表明，只需要4項(xiàng)參照因素就足以挨個(gè)確認(rèn)其中95%的人員的身份。

    研究人員指出，人們?cè)诔鞘兄凶哌^(guò)的路徑存在唯一性，而鑒于利用大量公共數(shù)據(jù)集可以推斷很多信息，這使個(gè)人隱私成為“日益嚴(yán)重的擔(dān)憂”。

    但是大數(shù)據(jù)的隱私問(wèn)題遠(yuǎn)遠(yuǎn)超出了常規(guī)的身份確認(rèn)風(fēng)險(xiǎn)的范疇。目前被出售給分析公司的醫(yī)療數(shù)據(jù)有可能被用來(lái)追查到你的身份。關(guān)于個(gè)性化醫(yī)療有很多談?wù)?，人們的希望是將?lái)可以針對(duì)個(gè)人研制藥物和其他療法，就好像這些藥物和療法是利用患者自己的DNA制作出來(lái)的。

    就提高醫(yī)學(xué)的功效而言，這是個(gè)美妙的前景，但這本質(zhì)上依賴于分子和基因水平上的個(gè)人身份確認(rèn)，這種信息一旦被不當(dāng)使用或泄露就會(huì)帶來(lái)很大的風(fēng)險(xiǎn)。盡管像 RunKeeper和Nike+等個(gè)人健康數(shù)據(jù)收集應(yīng)用得到了迅速發(fā)展，但在實(shí)踐中用大數(shù)據(jù)改善醫(yī)療服務(wù)仍然還只是一種愿望，而不是現(xiàn)實(shí)。

    高度個(gè)人化的大數(shù)據(jù)集將成為黑客或泄露者覬覦的主要目標(biāo)。維基揭秘網(wǎng)一直處在近年幾起最嚴(yán)重的大數(shù)據(jù)泄密事件的中心。正如我們從英國(guó)離岸金融業(yè)大規(guī)模數(shù)據(jù)泄露事件中看到的，與其他所有人一樣，世界上最富有的1%人口的個(gè)人信息也極易遭到公開(kāi)。

    5.“大數(shù)據(jù)是科學(xué)的未來(lái)”

    部分正確， 但它還需要一些成長(zhǎng)。大數(shù)據(jù)為科學(xué)提供了新的途徑。我們只需看一下希格斯玻色子的發(fā)現(xiàn)，它是歷史上最大規(guī)模網(wǎng)格計(jì)算項(xiàng)目的產(chǎn)物。在該項(xiàng)目中，歐洲核子研究 中心利用Hadoop分布式文件系統(tǒng)對(duì)所有數(shù)據(jù)進(jìn)行管理。但是除非我們認(rèn)識(shí)到并著手解決大數(shù)據(jù)在反映人類生活方面的某些內(nèi)在不足，否則我們可能會(huì)依據(jù)錯(cuò)誤 的成見(jiàn)作出重大的公共政策和商業(yè)決定。

    為了解決這個(gè)問(wèn)題，數(shù)據(jù)科學(xué)家正在開(kāi)始與社會(huì)科學(xué)家協(xié)作。隨著時(shí)間的推移，這將意味著找到把大數(shù)據(jù)策略和小數(shù)據(jù)研究相結(jié)合的新途徑。這將遠(yuǎn)遠(yuǎn)超越廣告業(yè)或市場(chǎng)營(yíng)銷業(yè)采用的做法，如中心小組或A/B測(cè)試(即向用戶展示兩個(gè)版本的設(shè)計(jì)或結(jié)果，以確定哪一個(gè)版本的效果更好)。

    確切地說(shuō)，新的混合式方法將會(huì)詢問(wèn)人們做某些事情的原因，而不只是統(tǒng)計(jì)某件事情發(fā)生的頻率。這意味著在信息檢索和機(jī)器學(xué)習(xí)之外，還將利用社會(huì)學(xué)分析和關(guān)于人種學(xué)的深刻認(rèn)識(shí)。

    技術(shù)企業(yè)很早就意識(shí)到社會(huì)科學(xué)家可以幫助它們更加深刻地認(rèn)識(shí)人們與其產(chǎn)品發(fā)生關(guān)系的方式和原因，如施樂(lè)公司研究中心就曾聘請(qǐng)了具有開(kāi)拓精神的人類學(xué)家露西?薩奇曼。下一階段將是進(jìn)一步豐富計(jì)算機(jī)科學(xué)家、統(tǒng)計(jì)學(xué)家及眾多門(mén)類的社會(huì)科學(xué)家之間的協(xié)作———不僅是為了檢驗(yàn)各自的研究成果，而且還要以更加嚴(yán)格的態(tài)度提出截然不同的各類問(wèn)題。

    考慮到每天有大量關(guān)于我們的信息———包括臉譜網(wǎng)點(diǎn)擊情況、全球定位系統(tǒng)(GPS)數(shù)據(jù)、醫(yī)療處方和Netflix預(yù)訂列表———被收集起來(lái)，我們遲早要決定把這樣的信息托付給什么人，以及用它們來(lái)實(shí)現(xiàn)什么樣的目的。

    我們無(wú)法回避這樣的事實(shí)，即數(shù)據(jù)絕不是中立的，它很難保持匿名。但是我們可以利用跨越不同領(lǐng)域的專業(yè)知識(shí)，從而更好地辨別偏見(jiàn)、缺陷和成見(jiàn)，正視隱私和公正將面臨的新挑戰(zhàn)。