關(guān)于大數(shù)據(jù)的九個問題

“大數(shù)據(jù)”突然間變得無處不在，似乎每個人都想收集、分析大數(shù)據(jù)、并從中獲利，同時也有人在夸耀或者害怕它的巨大影響。不論我們是在討論利用谷歌龐大的搜索數(shù)據(jù)來預(yù)測流感的爆發(fā)還是利用通話記錄來預(yù)測恐怖活動，又或者是利用航空公司的數(shù)據(jù)找到買機票的最佳時機，大數(shù)據(jù)都可以幫上忙。將現(xiàn)代計算技術(shù)和數(shù)字時代眾多的數(shù)據(jù)結(jié)合起來，似乎可以解決任何問題——犯罪，公共衛(wèi)生，用語的變化，約會的危險，只要我們把這些數(shù)據(jù)利用起來。

　　似乎它的擁護者這樣宣稱?！霸诮酉聛淼亩?，”記者帕特里克·塔克在他最近的大數(shù)據(jù)聲明中這樣寫道，“是透明的未來，”“我們可以以一種前所未有的準確度預(yù)測未來的諸多領(lǐng)域，甚至包括一些長久以來被認為人類無法干預(yù)的領(lǐng)域?！钡髷?shù)據(jù)其實從來沒有聽上去那么好。

　　大數(shù)據(jù)真的像說的那么好?毫無疑問大數(shù)據(jù)確實是一個有價值的工具，并在某些領(lǐng)域產(chǎn)生了至關(guān)重要的影響。比如，幾乎近二十年人工智能計算機程序的成功，從谷歌的搜索引擎到IBM的沃森電腦問答系統(tǒng)，都包括了大量數(shù)據(jù)的處理。但是正是因為它最近如此受歡迎并得到廣泛應(yīng)用，我們需要清晰的看待大數(shù)據(jù)究竟能做什么和不能做什么。

大數(shù)據(jù)能告訴我們是什么，但不能告訴我們?yōu)槭裁?

　　首先，盡管大數(shù)據(jù)能夠非常好地檢測相關(guān)性，特別是那些用小數(shù)據(jù)集可能無法測出的微妙相關(guān)性，但是它并不會告訴我們哪一種相關(guān)性是有意義的。比如，大數(shù)據(jù)分析可能會揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場份額是極度相關(guān)的，都呈急速下降趨勢。但是很難相信這兩者之間有什么因果關(guān)系。又比如，從1998到2007被診斷出的自閉癥患者與有機食物的銷售具有相關(guān)性(都呈急速上升趨勢)，但是這種相關(guān)性本身不會告訴我們飲食和自閉癥的關(guān)系。

大數(shù)據(jù)只能是輔助工具

　　第二，大數(shù)據(jù)可以輔助科學調(diào)查，但不可能成功地完全代替。比如，分子生物學家很想從潛在的DNA序列中推斷出蛋白質(zhì)的三維結(jié)構(gòu)，有一些科學家已經(jīng)在用大數(shù)據(jù)來解決這個難題。但是沒有任何科學家認為你可以完全依靠處理數(shù)據(jù)來解決這個難題，不論這個數(shù)據(jù)分析是多么的強有力，你依舊需要基于對物理和生物化學的理解上來處理這些數(shù)據(jù)。

基于大數(shù)據(jù)的工具易造假

　　第三，基于大數(shù)據(jù)的很多工具很容易造假。批改學生作文的大數(shù)據(jù)程序通常依賴于句子長度和用詞的復(fù)雜性，數(shù)據(jù)表明這和老師批改的分數(shù)很相關(guān)。但是一旦學生知道這個程序如何運作，他們就開始寫一些長句子并用晦澀的詞語而不是去學會如何規(guī)范清晰的表達，組成連貫的篇章。甚至谷歌的著名的搜索引擎，這個通常被認為成功的大數(shù)據(jù)案例也不能免于信息繁雜，無用的搜索結(jié)果，一些人為的原因使得一些搜索結(jié)果排在前面(搜索廣告)。

通過大數(shù)據(jù)下結(jié)論是有風險的

　　第四，即便大數(shù)據(jù)的結(jié)果沒有人為地造假，但是它看上去也不那么有效。比如谷歌預(yù)測流感的案例曾經(jīng)是大數(shù)據(jù)的典范。2009年，谷歌通過相當大的宣傳稱它可以通過分析與流感相關(guān)的搜索預(yù)測流感爆發(fā)的趨勢，這種準確性和快速甚至超過了疾病控制和預(yù)防中心等官方機構(gòu)。但是幾年后，谷歌宣稱的流感預(yù)測并沒有得到好的結(jié)果，最近兩年，它做的更多地是不準的預(yù)測。

　　最近一篇《科學雜志》的文章解釋道，谷歌流感預(yù)測的失敗很大程度上是因為谷歌搜索引擎自己在不斷的更新，這個時候收集的數(shù)據(jù)未必能夠適用于下一個時候收集的數(shù)據(jù)。正如統(tǒng)計學家馮啟思(《數(shù)據(jù)統(tǒng)治世界》的作者)所說的，依賴于網(wǎng)站的大數(shù)據(jù)收集常常把一些用不同方法、有不同目的數(shù)據(jù)整合起來，有時候這會產(chǎn)生負面的影響。從這樣的數(shù)據(jù)樣本得出結(jié)論是需要冒風險的。

　　大數(shù)據(jù)的智能應(yīng)用會導致錯誤被加強

　　第五個需要注意的就是“惡性循環(huán)”,這也是因為大量的數(shù)據(jù)都來自于網(wǎng)絡(luò)。不論何時，大數(shù)據(jù)分析的信息源本身就是一種大數(shù)據(jù)產(chǎn)品，這很可能會導致惡性循環(huán)。谷歌翻譯等翻譯程序是從不同語言中抽取相似的文本去辨別這些語言的翻譯模式，比如同樣的維基百科條目有兩種語言。這是一個很合理的策略，要不是有很多語言并不具有太多相似性，維基百科自己都可以用谷歌翻譯寫條目。在這種情況下，任何谷歌翻譯的錯誤都會影響維基百科，而這又會反映到谷歌翻譯上，使這種錯誤不斷加強。

大數(shù)據(jù)可能會導致大錯誤

　　第六個需要擔心的就是太多相關(guān)性導致的危險。如果你在兩個變量中不斷地尋找相關(guān)性，那么你很可能會純粹出于偶然發(fā)現(xiàn)虛假的相關(guān)性，即便在這些變量中并沒有實際意義的聯(lián)系。缺乏謹慎的檢查，大數(shù)據(jù)的量級會擴大這些錯誤。

聽上去科學的解釋未必正確

　　第七，大數(shù)據(jù)很容易對那些無法精確的問題給出聽上去很科學的解釋。比如在過去幾個月，基于維基百科的數(shù)據(jù)給人們排名有兩個不同的嘗試：根據(jù)歷史重要性或者文化貢獻。其中一本書叫做《誰更強?歷史人物真實的排名在哪里》，作者是電腦工程師Steven Skiena 和工程師Charles Ward，另一本叫做《萬神殿》，來自于麻省理工學院媒體實驗室項目。

　　這些嘗試在某些方面是正確的，耶穌、林肯、莎士比亞確實是極為重要的人物，但是兩者都犯了一些嚴重的錯誤?！墩l更強?》指出法蘭西斯.史考特.凱伊(Francis Scott Key )在歷史上是19世紀最重要的作家，遠遠超過簡·奧斯汀(第78名)和喬治·愛略特(第380名)。更嚴重的是，兩本書呈現(xiàn)出了利用所謂的精確誤導人，而在本質(zhì)上是模糊升值無意義的。大數(shù)據(jù)可以把任何事都簡化為數(shù)字，但是你不應(yīng)該被這些“科學”的表現(xiàn)愚弄。

罕見事件，大數(shù)據(jù)不起作用

　　最后，大數(shù)據(jù)在分析那些普通事件很在行，但是在分析罕見事件常失敗。比如，用大數(shù)據(jù)處理文本的程序如搜索引擎和翻譯程序，常常依賴于所謂的“三字”：連續(xù)三個詞的序列(比如“in a row”)?？煽康臄?shù)據(jù)信息可以編制常規(guī)的三字模型，正是因為他們常出現(xiàn)，但是現(xiàn)有的數(shù)據(jù)并沒有多到足夠包括人們可能使用的所有“三字”，因為人們在不斷創(chuàng)造新語言。

　　隨便挑一個例子，Rob Lowe 最近為報紙寫的書評有九個“三詞序列”比如“dumbed-down escapist fare”，這在谷歌的文本里從未出現(xiàn)過。對于這些新鮮詞匯谷歌有很多限制，谷歌將“dumbed-down escapist fare”西安翻譯為德文然后再翻譯為英文，最后出現(xiàn)了這樣一個不合邏輯的詞語“scaled-flight fare.”Lowe先生的本意和利用大數(shù)據(jù)的翻譯真是完全不搭邊。

　　等等，我們幾乎忽略了最后一個問題：炒作。大數(shù)據(jù)的支持者宣稱它是革命性的進步。但是即便是給出大數(shù)據(jù)的成功例子，比如谷歌流感趨勢的預(yù)測，即便有用但對于一些更大的事這些顯得微不足道。相比19世紀和20世紀的偉大發(fā)明比如抗生素，汽車，飛機，大數(shù)據(jù)所得出的東西實在算不了什么。

　　我們需要大數(shù)據(jù)，毫無疑問。但是我們也需要更加清醒的認識到，這只是一種每個人都可以分析的重要資源，并不是什么新技術(shù)。

　　是在討論利用谷歌龐大的搜索數(shù)據(jù)來預(yù)測流感的爆發(fā)還是利用通話記錄來預(yù)測恐怖活動，又或者是利用航空公司的數(shù)據(jù)找到買機票的最佳時機，大數(shù)據(jù)都可以幫上忙。將現(xiàn)代計算技術(shù)和數(shù)字時代眾多的數(shù)據(jù)結(jié)合起來，似乎可以解決任何問題——犯罪，公共衛(wèi)生，用語的變化，約會的危險，只要我們把這些數(shù)據(jù)利用起來

　　似乎它的擁護者這樣宣稱?！霸诮酉聛淼亩?，”記者帕特里克·塔克在他最近的大數(shù)據(jù)聲明中這樣寫道，“是透明的未來，”“我們可以以一種前所未有的準確度預(yù)測未來的諸多領(lǐng)域，甚至包括一些長久以來被認為人類無法干預(yù)的領(lǐng)域?！钡髷?shù)據(jù)其實從來沒有聽上去那么好。(文章來源CDA數(shù)據(jù)分析師)

　　大數(shù)據(jù)真的像說的那么好?毫無疑問大數(shù)據(jù)確實是一個有價值的工具，并在某些領(lǐng)域產(chǎn)生了至關(guān)重要的影響。比如，幾乎近二十年人工智能計算機程序的成功，從谷歌的搜索引擎到IBM的沃森電腦問答系統(tǒng)，都包括了大量數(shù)據(jù)的處理。但是正是因為它最近如此受歡迎并得到廣泛應(yīng)用，我們需要清晰的看待大數(shù)據(jù)究竟能做什么和不能做什么。

　　我們需要大數(shù)據(jù)，毫無疑問。但是我們也需要更加清醒的認識到，這只是一種每個人都可以分析的重要資源，并不是什么新技術(shù)。