十個(gè)段子反思大數(shù)據(jù)

自2011年以來(lái)，大數(shù)據(jù)旋風(fēng)以“迅雷不及掩耳之勢(shì)”席卷中國(guó)。毋庸置疑，大數(shù)據(jù)已然成為繼云計(jì)算、物聯(lián)網(wǎng)之后新一輪的技術(shù)變革熱潮，不僅是信息領(lǐng)域，經(jīng)濟(jì)、政治、社會(huì)等諸多領(lǐng)域都“磨刀霍霍”向大數(shù)據(jù)，準(zhǔn)備在其中逐得一席之地。

中國(guó)工程院 李國(guó)杰院士更是把大數(shù)據(jù)提升到戰(zhàn)略的高度，他表示數(shù)據(jù)是與物質(zhì)、能源一樣重要的戰(zhàn)略資源。從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值的技術(shù)正是最有活力的軟技術(shù)，在數(shù)據(jù)技術(shù)與產(chǎn)業(yè)上的落后，將使我們像錯(cuò)過(guò)工業(yè)革命機(jī)會(huì)一樣延誤一個(gè)時(shí)代。

在這樣的認(rèn)知下，“大數(shù)據(jù)”日趨變成大家“耳熟能詳”的熱詞。圖1所示的是谷歌趨勢(shì)（Google Trends）顯示的有關(guān)大數(shù)據(jù)熱度的趨勢(shì)，從圖1中可以看到，在未來(lái)的數(shù)年里，“大數(shù)據(jù)”的熱度可能還是“高燒不退”。

在大數(shù)據(jù)熱火朝天前行的路上，多一點(diǎn)反思，多一份冷靜，或許能讓這路走的更好、更遠(yuǎn)？例如，2014年4月，大名鼎鼎的《紐約時(shí)報(bào)》發(fā)表題為《大數(shù)據(jù)帶來(lái)的八個(gè)（不，是九個(gè)！）問(wèn)題》（Eight (No, Nine!) Problems With Big Data）的反思文章，其中文中的第九個(gè)問(wèn)題，就是所謂的“大數(shù)據(jù)的炒作（we almost forgot one last problem: the hype）”。同樣為重量級(jí)的英國(guó)報(bào)刊《財(cái)經(jīng)時(shí)報(bào)》（Financial Times，F(xiàn)T）也刊發(fā)了類(lèi)似反思式的文章“大數(shù)據(jù)：我們正在犯大錯(cuò)誤嗎？

在大數(shù)據(jù)熱炒之中，大數(shù)據(jù)的價(jià)值是否被夸大了？是否存在人造的“心靈雞湯”？大數(shù)據(jù)技術(shù)便利帶來(lái)的“收之桑榆”，是否也存在自己的副作用——“失之東隅”——個(gè)人的隱私何以得到保障？大數(shù)據(jù)熱炒的“繁華過(guò)盡”,數(shù)據(jù)背后的巨大價(jià)值是否還能“溫潤(rùn)依舊”？在眾聲喧嘩之中，我們需要冷靜審慎地思考上述問(wèn)題。

太多的“唐僧式”的說(shuō)教，會(huì)讓很多人感到無(wú)趣。下文分享了10個(gè)從“天南地北”收集而來(lái)的小故事（或稱(chēng)段子），從這些小故事中，可對(duì)熱炒的大數(shù)據(jù)反思一下，這或許能讓讀者更加客觀地看待大數(shù)據(jù)。有些小故事與結(jié)論之間的對(duì)應(yīng)關(guān)系，或許不是那么妥帖，諸位別太較真，讀一讀、樂(lè)一樂(lè)、想一想就好！

故事01：醉漢路燈下找鑰匙——大數(shù)據(jù)的研究方法可笑嗎？

一天晚上，一個(gè)醉漢在路燈下不停地轉(zhuǎn)來(lái)轉(zhuǎn)去，警察就問(wèn)他在找什么。醉漢說(shuō)，我的鑰匙丟了。于是，警察幫他一起找，結(jié)果路燈周?chē)伊藥妆槎紱](méi)找到。于是警察就問(wèn)，你確信你的鑰匙是丟到這兒?jiǎn)?？醉漢說(shuō)，不確信啊，我壓根就不知道我的鑰匙丟到哪兒。警察怒從心中來(lái)，問(wèn)，那你到這里來(lái)找什么？醉漢振振有辭：因?yàn)橹挥羞@里有光線??！

但不好笑的是，“烏鴉笑豬黑，自己不覺(jué)得”，這個(gè)故事也揭示了一個(gè)事實(shí)：在面臨復(fù)雜問(wèn)題時(shí)，我們的思維方式也常同這個(gè)醉漢所差無(wú)幾，同樣也是先在自己熟悉的范圍和領(lǐng)域內(nèi)尋找答案，哪怕這個(gè)答案和自己的領(lǐng)域“相隔萬(wàn)里”！

還有人甚至認(rèn)為，醉漢找鑰匙的行為，恰恰就是科學(xué)研究所遵循的哲學(xué)觀。前人的研究成果，恰是是后人研究的基石，也即這則故事中的“路燈”。到路燈下找鑰匙，雖看來(lái)有些荒唐，但也是“無(wú)奈之下”的明智之舉。

數(shù)據(jù)那么大，價(jià)值密度那么低，你也可以去分析，但從何分析起？首先想到的方法和工具，難道不是當(dāng)下你最熟悉的？而你最熟悉的，就能確保它就是最好的嗎？

沃頓商學(xué)院著名教授、紐約時(shí)報(bào)最佳暢銷(xiāo)書(shū)作者 喬納·伯杰（Jonah Berger）從另外一個(gè)角度，解讀這個(gè)故事：在這里，浩瀚的黑夜就是如同全數(shù)據(jù)，“鑰匙”就好比是大數(shù)據(jù)分析中我們要找到的價(jià)值目標(biāo)，他認(rèn)為，“路燈”就好比我們要達(dá)到這個(gè)目標(biāo)的測(cè)量“標(biāo)尺”，如果這個(gè)標(biāo)尺的導(dǎo)向有問(wèn)題，順著這個(gè)標(biāo)尺導(dǎo)引，想要找到心儀的“鑰匙”，是非常困難的！在我們癡迷于某項(xiàng)自己熟悉的特定測(cè)量標(biāo)尺之前，一定要提前審視一下，這個(gè)測(cè)量標(biāo)尺是否適合幫助我們找到那把“鑰匙”，如果不能，趕快換一盞“街燈”吧！

如果在黑暗中丟失的鑰匙，是大數(shù)據(jù)中的價(jià)值，那這個(gè)價(jià)值也太稀疏了吧。下面的故事，讓我們聊聊大數(shù)據(jù)的價(jià)值。

故事02：顛簸的街道——對(duì)不起  “n=All” 只是一個(gè)幻覺(jué)

波士頓市ZF推薦自己的市民，使用一款智能手機(jī)應(yīng)用——“顛簸的街道（Street Bump，網(wǎng)站訪問(wèn)鏈接：http://www.streetbump.org/）”。這個(gè)應(yīng)用程序，可利用智能手機(jī)中內(nèi)置的加速度傳感器，來(lái)檢查出街道上的坑洼之處——在路面平穩(wěn)的地方，傳感器加速度值小，而在坑坑洼洼的地方，傳感器加速度值就大。熱心的波士頓市民們，只要下載并使用這個(gè)應(yīng)用程序后，開(kāi)著車(chē)、帶著手機(jī)，他們就是一名義務(wù)的、兼職的市政工人，這樣就可以輕易做到“全民皆市政”。市政廳全職的工作人員就無(wú)需親自巡查道路，而是打開(kāi)電腦，就能一目了然的看到哪些道路損壞嚴(yán)重，哪里需要維修。

波士頓市ZF也因此驕傲地宣布，“大數(shù)據(jù)，為這座城市提供了實(shí)時(shí)的信息，它幫助我們解決問(wèn)題，并提供了長(zhǎng)期的投資計(jì)劃”。著名期刊《連線》（Wired）也毫不吝嗇它的溢美之詞：這是眾包（Crowdsourcing）改善ZF功能的典范之作。

眾包是《連線》雜志記者Jeff Howe于2006年發(fā)明的一個(gè)專(zhuān)業(yè)術(shù)語(yǔ)，用來(lái)描述一種新的商業(yè)模式。它以自由自愿的形式外包給非特定的大眾網(wǎng)絡(luò)的做法。眾包利用眾多志愿員工的創(chuàng)意和能力——這些志愿員工具備完成任務(wù)的技能，愿意利用業(yè)余時(shí)間工作，滿(mǎn)足于對(duì)其服務(wù)收取小額報(bào)酬，或者暫時(shí)并無(wú)報(bào)酬，僅僅滿(mǎn)足于未來(lái)獲得更多報(bào)酬的前景。

然而，從一開(kāi)始，“顛簸的街道”的產(chǎn)品設(shè)計(jì)就是有偏的（bias），因?yàn)槭褂眠@款A(yù)pp的對(duì)象，“不經(jīng)意間”要滿(mǎn)足3個(gè)條件：（1）年齡結(jié)構(gòu)趨近年輕，因?yàn)橹欣夏耆藧?ài)玩智能手機(jī)的相對(duì)較少；（2）使用App的人，還得有一部車(chē)。雖然有輛車(chē)在美國(guó)不算事，但畢竟不是每個(gè)人都有；（3）有錢(qián)，還得有閑。前面兩個(gè)條件這還不夠，使用者還得有“閑心”， 想著開(kāi)車(chē)時(shí)打開(kāi)“顛簸的街道”這個(gè)App。想象一下，很多年輕人的智能手機(jī)安裝的應(yīng)用程序數(shù)量可能兩位數(shù)以上，除了較為常用的社交軟件如Facebook或Twitter（中國(guó)用戶(hù)用得較多的是微博、微信等）記得開(kāi)機(jī)運(yùn)行外，還有什么公益軟件“重要地”一開(kāi)車(chē)就記得打開(kāi)？

“顛簸的街道”的理念在于，它可以提供 “n=All（所有）”個(gè)坑洼地點(diǎn)信息， 但這里的“n=All（所有）”也僅僅是滿(mǎn)足上述3個(gè)條件的用戶(hù)記錄數(shù)據(jù)，而非“所有坑洼點(diǎn)”的數(shù)據(jù)，上述3個(gè)條件，每個(gè)條件其實(shí)都過(guò)濾了一批樣本，“n=All”注定是不成立的。在一些貧民窟，可能因?yàn)槭褂檬謾C(jī)的、開(kāi)車(chē)的、有閑心的App用戶(hù)偏少，即使有些路面有較多坑洼點(diǎn)，也未必能檢測(cè)出來(lái)。

《大數(shù)據(jù)時(shí)代》的作者 舍恩伯格 教授常用“n=All”，來(lái)定義大數(shù)據(jù)集合。如果真能這樣，那么就無(wú)需采樣了，也不再有采樣偏差的問(wèn)題，因?yàn)椴蓸右呀?jīng)包含了所有數(shù)據(jù)。

暢銷(xiāo)書(shū)《你的數(shù)字感：走出大數(shù)據(jù)分析與解讀的誤區(qū)》（Numbersense: How to Use Big Data to Your Advantage）的作者、美國(guó)紐約大學(xué)統(tǒng)計(jì)學(xué)教授 Kaiser Fung，就毫不客氣地提醒人們，不要簡(jiǎn)單地假定自己掌握了所有有關(guān)的數(shù)據(jù)： “N=All（所有）”常常僅僅是對(duì)數(shù)據(jù)的一種假設(shè)，而不是現(xiàn)實(shí)。

微軟-紐約首席研究員 Kate Crawford 也指出，現(xiàn)實(shí)數(shù)據(jù)是含有系統(tǒng)偏差的，通常需要人們仔細(xì)考量，才有可能找到并糾正這些系統(tǒng)偏差。大數(shù)據(jù)，看起來(lái)包羅萬(wàn)象，但“n=All”往往不過(guò)是一個(gè)頗有誘惑力的假象而已。

“n=All”,夢(mèng)想很豐滿(mǎn)，但現(xiàn)實(shí)很骨感！

但即使具備全數(shù)據(jù)，就能輕易找到隱藏于數(shù)據(jù)背后的有價(jià)值信息嗎？請(qǐng)接著看下面的故事。

故事03：園中有金不在金——大數(shù)據(jù)的價(jià)值

人們?cè)诿枋龃髷?shù)據(jù)時(shí)，通常表明其具備4個(gè)V特征，即4個(gè)以V為首字母的英文描述：Volume（體量大）、Variety（模態(tài)多）、Velocity（速度快）及Value（價(jià)值大）。前三個(gè)V，本質(zhì)上，是為第四個(gè)V服務(wù)的。試想一下，如果大數(shù)據(jù)里沒(méi)有我們希望得到的價(jià)值，我們?yōu)楹芜€辛辛苦苦這么折騰前3個(gè)V？

英特爾中國(guó)研究院院長(zhǎng) 吳甘沙先生說(shuō)，“鑒于大數(shù)據(jù)信息密度低，大數(shù)據(jù)是貧礦，投入產(chǎn)出比不見(jiàn)得好?！薄都~約時(shí)報(bào)》著名科技記者Steve Lohr，在其采訪報(bào)道“大數(shù)據(jù)時(shí)代（The Age of Big Data）”中表明，大數(shù)據(jù)價(jià)值挖掘的風(fēng)險(xiǎn)還在于，會(huì)有很多的“誤報(bào)”發(fā)現(xiàn)，用斯坦福大學(xué)統(tǒng)計(jì)學(xué)教授 Trevor Hastie 的話(huà)來(lái)說(shuō)，就是“在數(shù)據(jù)的大干草垛中，發(fā)現(xiàn)有意義的“針”，其困難在于“很多干草看起來(lái)也像針（The trouble with seeking a meaningful needle in massive haystacks of data is that “many bits of straw look like needles）”

針對(duì)大數(shù)據(jù)的價(jià)值，李國(guó)杰院士借助中國(guó)傳統(tǒng)的寓言故事《園中有金》，從另外一個(gè)角度，說(shuō)明大數(shù)據(jù)的價(jià)值，寓言故事是這樣的：

有父子二人，居山村，營(yíng)果園。父病后，子不勤耕作，園漸荒蕪。一日，父病危，謂子曰：園中有金。子翻地尋金，無(wú)所得，甚悵然。是年秋，園中葡萄、蘋(píng)果之屬皆大豐收。子始悟父言之理。

人們總是期望，能從大數(shù)據(jù)中挖掘出意想不到的“大價(jià)值”。可李國(guó)杰院士認(rèn)為，實(shí)際上，大數(shù)據(jù)的價(jià)值，主要體現(xiàn)在它的驅(qū)動(dòng)效應(yīng)上，大數(shù)據(jù)對(duì)經(jīng)濟(jì)的貢獻(xiàn)，并不完全反映在大數(shù)據(jù)公司的直接收入上，應(yīng)考慮對(duì)其他行業(yè)效率和質(zhì)量提高的貢獻(xiàn)。

大數(shù)據(jù)是典型的通用技術(shù)，理解通用技術(shù)的價(jià)值，要懂得采用“蜜蜂模型”：蜜蜂的最大效益，并非是自己釀造的蜂蜜，而是蜜蜂傳粉對(duì)農(nóng)林業(yè)的貢獻(xiàn)——你能說(shuō)秋天的累累碩果，沒(méi)有蜜蜂的一份功勞？

回到前文的小故事，兒子翻地的價(jià)值，不僅在于翻到園中的金子，更是在于翻地之后，促進(jìn)了秋天果園的豐收。在第03個(gè)小故事中，醉漢黑暗中尋找的鑰匙，亦非最終的價(jià)值，通過(guò)鑰匙打開(kāi)的門(mén)才是。

對(duì)于大數(shù)據(jù)研究而言，一旦數(shù)據(jù)收集、存儲(chǔ)、分析、傳輸?shù)饶芰μ岣吡?，即使沒(méi)有發(fā)現(xiàn)什么普適的規(guī)律或令人完全想不到的新知識(shí)，也極大地推動(dòng)了諸如計(jì)算機(jī)軟硬件、數(shù)據(jù)分析等行業(yè)的發(fā)展，大數(shù)據(jù)的價(jià)值也已逐步體現(xiàn)。

李國(guó)杰院士認(rèn)為，我們不必天天期盼奇跡出現(xiàn)，多做一些“樸實(shí)無(wú)華”的事，實(shí)際的進(jìn)步就會(huì)體現(xiàn)在扎扎實(shí)實(shí)的努力之中。一些媒體總喜歡宣傳一些抓人眼球的大數(shù)據(jù)成功案例。但從事大數(shù)據(jù)行業(yè)的人士，應(yīng)保持清醒的頭腦：無(wú)華是常態(tài)，精彩是無(wú)華的質(zhì)變。

如果把“大數(shù)據(jù)”比作農(nóng)夫父子院后的那片土地，那么土地的面積越大，會(huì)不會(huì)能挖掘出的“金子”就越多呢？答案還真不是，下面的故事我們說(shuō)說(shuō)大數(shù)據(jù)的大小之爭(zhēng)。

故事04：蓋洛普抽樣的成功——大小之爭(zhēng)，“大”數(shù)據(jù)一定勝過(guò)小抽樣嗎？

1936年，民主黨人 艾爾弗雷德·蘭登（Alfred Landon）與時(shí)任總統(tǒng) 富蘭克林·羅斯福（Franklin Roosevelt）競(jìng)選下屆總統(tǒng)?！段膶W(xué)文摘》（The Literary Digest）這家頗有聲望的雜志承擔(dān)了選情預(yù)測(cè)的任務(wù)。之所以說(shuō)它“頗有聲望”，是因?yàn)椤段膶W(xué)文摘》曾在1920年、1924年、1928年、1932年連續(xù)4屆美國(guó)總統(tǒng)大選中，成功地預(yù)測(cè)總統(tǒng)寶座的歸屬。

1936年，《文學(xué)文摘》再次雄赳赳、氣昂昂地照辦老辦法——民意調(diào)查，不同于前幾次的調(diào)查，這次調(diào)查把范圍拓展得更廣。當(dāng)時(shí)大家都相信，數(shù)據(jù)集合越大，預(yù)測(cè)結(jié)果越準(zhǔn)確。《文學(xué)文摘》計(jì)劃寄出1000萬(wàn)份調(diào)查問(wèn)卷，覆蓋當(dāng)時(shí)四分之一的選民。最終該雜志在兩個(gè)多月內(nèi)收到了驚人的240萬(wàn)份回執(zhí)，在統(tǒng)計(jì)完成以后，《文學(xué)文摘》宣布，艾爾弗雷德?蘭登將會(huì)以55比41的優(yōu)勢(shì)，擊敗富蘭克林·羅斯福贏得大選，另外4%的選民則會(huì)零散地投給第三候選人。

然而，真實(shí)的選舉結(jié)果與《文學(xué)文摘》的預(yù)測(cè)大相徑庭：羅斯福以61比37的壓倒性?xún)?yōu)勢(shì)獲勝。讓《文學(xué)文摘》臉上掛不住的是，新民意調(diào)查的開(kāi)創(chuàng)者 喬治·蓋洛普（George Gallup），僅僅通過(guò)一場(chǎng)規(guī)模小得多的問(wèn)卷——一個(gè)3000人的問(wèn)卷調(diào)查，得出了準(zhǔn)確得多的預(yù)測(cè)結(jié)果：羅斯福將穩(wěn)操勝券。蓋洛普的3000人“小”抽樣，居然挑翻了《文學(xué)文摘》240萬(wàn)的“大”調(diào)查，實(shí)在讓專(zhuān)家學(xué)者和社會(huì)大眾跌破眼鏡。

顯然，蓋洛普有他獨(dú)到的辦法，而從數(shù)據(jù)體積大小的角度來(lái)看，“大”并不能決定一切。民意調(diào)查是基于對(duì)投票人的大范圍采樣。這意味著調(diào)查者需要處理兩個(gè)難題：樣本誤差和樣本偏差。

在過(guò)去的200多年里，統(tǒng)計(jì)學(xué)家們總結(jié)出了在認(rèn)知數(shù)據(jù)的過(guò)程中存在的種種陷阱（如樣本偏差和樣本誤差）。如今數(shù)據(jù)的規(guī)模更大了，采集的成本也更低了，“大數(shù)據(jù)”中依然存在大量的“小數(shù)據(jù)”問(wèn)題，大數(shù)據(jù)采集同樣會(huì)犯小數(shù)據(jù)采集一樣的統(tǒng)計(jì)偏差。我們不能掩耳盜鈴，假裝這些陷阱都已經(jīng)被填平了，事實(shí)上，它們還都在，甚至問(wèn)題更加突出。

蓋洛普成功的法寶在于，科學(xué)地抽樣，保證抽樣的隨機(jī)性，他沒(méi)有盲目的擴(kuò)大調(diào)查面積，而是根據(jù)選民的分別特征，根據(jù)職業(yè)、年齡、膚色等在3000人的比重，再確定電話(huà)訪問(wèn)、郵件訪問(wèn)和街頭調(diào)查等各種方式所在比例。由于樣本抽樣得當(dāng)，就可以做到“以小見(jiàn)大”、“一葉知秋”。

《文學(xué)文摘》的失敗在于，取樣存在嚴(yán)重偏差，它的調(diào)查對(duì)象主要鎖定為它自己的訂戶(hù)。雖然《文學(xué)文摘》的問(wèn)卷調(diào)查數(shù)量不少，但它的訂戶(hù)多集中在中上階層，樣本從一開(kāi)始就是有偏差的（sample bias），因此，推斷的結(jié)果不準(zhǔn)，就不足為奇了。而且民主黨人艾爾弗雷德?蘭登的支持者，似乎更樂(lè)于寄回問(wèn)卷結(jié)果，這使得調(diào)查的錯(cuò)誤更進(jìn)了一步。這兩種偏差的結(jié)合，注定了《讀者文摘》調(diào)查的失敗。

我們可以類(lèi)比一下《文學(xué)文摘》的調(diào)查模式，試想一樣，如果在中國(guó)春運(yùn)來(lái)臨時(shí)，在火車(chē)上調(diào)查，問(wèn)乘客是不是買(mǎi)到票了，即使你調(diào)查1000萬(wàn)人，這可是大數(shù)據(jù)啊，結(jié)論毫無(wú)意外地是都買(mǎi)到了，但這個(gè)結(jié)果無(wú)論如何都是不科學(xué)的，因?yàn)闃颖镜倪x取是有偏的。

當(dāng)然，采樣也是有缺點(diǎn)的，如果采樣沒(méi)有滿(mǎn)足隨機(jī)性，即使百分之幾的偏差，就可能丟失“黑天鵝事件”的信號(hào)，因此在全數(shù)據(jù)集存在的前提下，全數(shù)據(jù)當(dāng)然是首選（但從第02故事中，我們可以看到，全數(shù)據(jù)通常是無(wú)法得到的）。對(duì)針對(duì)數(shù)據(jù)分析的價(jià)值，英特爾中國(guó)研究院院長(zhǎng)吳甘沙先生給出了一個(gè)排序：全數(shù)據(jù)>好采樣數(shù)據(jù)>不均勻的大量數(shù)據(jù)。

大數(shù)據(jù)分析技術(shù)運(yùn)用得當(dāng)，能極大地提升人們對(duì)事物的洞察力（insight），但技術(shù)和人誰(shuí)在決策（decision-making）中起更大作用？在下面的“點(diǎn)球成金”小故事，我們聊聊這個(gè)話(huà)題。