探討：比數(shù)據(jù)更重要的，是見解

對(duì)數(shù)據(jù)的盲目崇拜往往是失敗的一個(gè)誘因，許多事情表面理性，其實(shí)卻缺乏最基本邏輯。從海量數(shù)據(jù)分析曾經(jīng)的輝煌與如今的陰霾中，我們是否還能學(xué)到些什么呢？

兩年前，紐約時(shí)報(bào)刊登了這樣一個(gè)精彩絕倫的故事：在明尼阿波利斯市，有一個(gè)男人闖入當(dāng)?shù)氐乃兀═arget）百貨公司狠狠地抱怨了一番，因?yàn)樗毓静煌５卦谙蛩陜H十幾歲的女兒寄嬰兒衣物與孕婦裝的折價(jià)券。小姑娘真心覺得她自己并沒有懷孕，并且完全不需要這些折價(jià)券。于是公司經(jīng)理一再向這位父親表達(dá)了歉意。

你大概已經(jīng)猜到接下來(lái)發(fā)生了什么——很快那個(gè)小姑娘就被確認(rèn)已經(jīng)懷孕了。她的爸爸此前完全沒有發(fā)覺，甚至連她自己也沒有。而塔吉特，在分析了她所購(gòu)買的無(wú)香濕紙巾與飲食補(bǔ)給品之后，卻意識(shí)到了。

2012年的時(shí)候，在大多數(shù)的市場(chǎng)參與者中，海量數(shù)據(jù)分析仍然是個(gè)新鮮的主意，普羅大眾也全然沒有像現(xiàn)在那樣對(duì)此懷有熱情。不過(guò)，這項(xiàng)技術(shù)其實(shí)已經(jīng)被網(wǎng)絡(luò)內(nèi)容提供者、零售商，以及研究人員等熟知并且熱情追捧了有近半個(gè)世紀(jì)了。在《自然》雜志的09年二月刊中，一篇由谷歌的工程師團(tuán)隊(duì)撰寫的題為《使用搜索引擎的查詢數(shù)據(jù)以探測(cè)流感的流行》的文章吸引了全世界研究人員的注意。如標(biāo)題所示，此文宣告了谷歌在追蹤流行病傳播方面的顯著成果。

美國(guó)疾病控制與預(yù)防中心（Centers for Disease Control and Prevention，略作CDC）被要求追蹤美國(guó)本土諸如流感之類的流行病的發(fā)展。CDC依賴于醫(yī)生們的報(bào)告，因此，它的追蹤結(jié)果通常會(huì)滯后至少一個(gè)星期。谷歌卻在沒有詢問任何醫(yī)生或醫(yī)院的情況下成功追蹤到了全國(guó)范圍內(nèi)的流感爆發(fā)。它在某一區(qū)域范圍內(nèi)深入分析了該地區(qū)人們的搜索關(guān)鍵詞，例如“流感癥狀”，并找尋與該地區(qū)流感人群數(shù)量間的相關(guān)性。通過(guò)隨機(jī)且動(dòng)態(tài)的模型技術(shù)，谷歌創(chuàng)造了一條發(fā)現(xiàn)流行病疫情的迅速且經(jīng)濟(jì)的方式，延遲不超過(guò)一天。

這種“海量數(shù)據(jù)”方案最美妙之處在于，人們甚至不需要人工去檢查流行搜索關(guān)鍵詞以確認(rèn)分析對(duì)象——數(shù)據(jù)算法能自動(dòng)找尋過(guò)往案例中查詢?cè)~與流感間的關(guān)系來(lái)發(fā)現(xiàn)合適的關(guān)鍵詞，而且僅僅需要一眨眼的時(shí)間（雖略夸張，但幾可比擬）。一旦算法寫成，直到該模型運(yùn)作起來(lái)，期間都不包括任何主觀且常帶偏見的過(guò)程——不需要建立理論，不需要提出假說(shuō)，也不需要人工判斷。正如《連線》雜志2008年所載的文章《理論的終結(jié)》中闡述的那樣，“有了足夠的數(shù)據(jù)，數(shù)字們自己會(huì)說(shuō)明一切。”“海量數(shù)據(jù)”這個(gè)主意非常具有革命性，并且似乎讓人們看到了這樣的未來(lái)：多數(shù)如今依靠人腦分析的工作將來(lái)都會(huì)被機(jī)器所取代，這些機(jī)器能從數(shù)據(jù)的海洋中挖掘出規(guī)律，以更快地速度進(jìn)行分析。

然而，讓科技迷和海量數(shù)據(jù)的資助者們失望的是，在原作發(fā)表四年后，這個(gè)項(xiàng)目華麗麗地失敗了。持續(xù)提供了三年即時(shí)可信的流行病追蹤報(bào)告后，這個(gè)無(wú)理論支持但擁有海量數(shù)據(jù)的模型于2012年冬天預(yù)測(cè)了一場(chǎng)嚴(yán)重的疫情爆發(fā)。一周以后，過(guò)時(shí)已久的CDC追蹤結(jié)果表明，與谷歌的預(yù)測(cè)相異，這場(chǎng)流感疫情正得到很好很好的控制，而谷歌的預(yù)測(cè)幾乎是真實(shí)情況的兩倍。

海量數(shù)據(jù)分析的問題在于，谷歌并不知道，也無(wú)從知道，到底被搜索的關(guān)鍵詞與流感之間存在什么樣的聯(lián)系。在冬天最寒冷的日子里，人們搜索“羽絨服”的時(shí)候正好撞上流感大爆發(fā)，但這無(wú)法表明在倒霉日子里搜索“羽絨服”和患上流感的恰好是同一撥人，沒準(zhǔn)他們只是想趕上線上打折季。而谷歌的工程師們未曾試圖找尋這之間的因果關(guān)系。相反，他們依賴于通過(guò)統(tǒng)計(jì)模式來(lái)解釋并預(yù)測(cè)事件。他們耗費(fèi)大量精力研究數(shù)據(jù)相關(guān)性，卻對(duì)因果關(guān)系幾無(wú)研究。這也恰恰是所有海量數(shù)據(jù)分析者的通?。ó?dāng)然也是快速與低價(jià)的緣由）。問題在于，如果沒有因果關(guān)系，那么數(shù)據(jù)間的相關(guān)性便毫無(wú)意義。

海量數(shù)據(jù)對(duì)于商業(yè)乃至整個(gè)人類社會(huì)價(jià)值毋容置疑。統(tǒng)計(jì)模型僅僅在它所研究的樣本范圍內(nèi)正確，而抽樣失誤與樣本誤差又同時(shí)存在。海量數(shù)據(jù)，以其巨大的容量，可以非常有效地減少樣本誤差（在理想條件下，全部人口的數(shù)據(jù)都能被獲?。４送?，根除人工失誤使得把完全無(wú)誤的數(shù)據(jù)交給算法成為可能。但是，海量數(shù)據(jù)的積極鼓吹者們大多都沒能發(fā)現(xiàn)的是，這些數(shù)據(jù)本身對(duì)它們之間的因果關(guān)系完全不加以考慮。數(shù)據(jù)庫(kù)越是龐大，人們就越無(wú)法在找尋到因果關(guān)系之前確定數(shù)據(jù)間的相關(guān)性。如果輸入的數(shù)據(jù)出錯(cuò)，那么海量數(shù)據(jù)算法能告訴我們的，終究也不過(guò)是一個(gè)精準(zhǔn)預(yù)測(cè)的錯(cuò)誤答案罷了。

我很傾向于用人類智商的例子來(lái)解釋把相關(guān)性誤作因果關(guān)系的危害。如果我們把全人類的體重和智商的數(shù)據(jù)進(jìn)行回歸分析，我們會(huì)發(fā)現(xiàn)這兩組數(shù)據(jù)間有一個(gè)清晰的相關(guān)性：平均來(lái)說(shuō)，體重越重的人在智商測(cè)試中獲得的分?jǐn)?shù)也越高。然而這并不意味著你需要多吃才能學(xué)得更多更好。這兩組數(shù)據(jù)其實(shí)都與年齡有關(guān)，當(dāng)一個(gè)人長(zhǎng)得越大，他/她會(huì)變得越重同時(shí)也學(xué)得越多（此外他還會(huì)長(zhǎng)得越高）。如果缺乏合理的基本理論，僅僅從統(tǒng)計(jì)分析中得出結(jié)論，是非常危險(xiǎn)的，而當(dāng)今許多海量數(shù)據(jù)系統(tǒng)都無(wú)法解釋因果問題，這并不是在危言聳聽。

過(guò)去有大量的案例可以表明，投資界內(nèi)人士過(guò)于依賴數(shù)據(jù)會(huì)造成怎樣的可怕后果。長(zhǎng)期資本管理公司（Long-Term Capital Management L.P., 略作LTCM）不過(guò)是其中一個(gè)罷了。被塔吉特公司誤的尿片廣告郵件的未懷孕的女士，肯定比它正確發(fā)現(xiàn)的孕婦多得多。一個(gè)精準(zhǔn)挖掘到有用數(shù)據(jù)的系統(tǒng)，可能誕生于一千個(gè)足以讓投資者傾家蕩產(chǎn)的同類系統(tǒng)之中。我們并不否認(rèn)，如果設(shè)計(jì)正確，那么海量的數(shù)據(jù)能夠既體現(xiàn)相關(guān)性又把握住因果關(guān)系。想想機(jī)器學(xué)習(xí)，以及從中獲得極大成功的谷歌翻譯項(xiàng)目便可得知。但是就目前而言，從海量數(shù)據(jù)分析能給我們的承諾來(lái)看，它真正的價(jià)值，以及為它估價(jià)所冒的險(xiǎn)，仍然需要我們拭目以待。

但這并不是說(shuō)我們現(xiàn)在就無(wú)法把海量數(shù)據(jù)分析本身作為獲利工具。塔吉特并沒有給每一個(gè)它認(rèn)定已懷孕的人寄去滿是嬰兒用品的目錄表。它們只是在隨機(jī)普通產(chǎn)品間混入了部分有目的宣傳的商品罷了。這可能是塔吉特的一個(gè)非常巧妙的策劃，因?yàn)檫@樣顧客也不會(huì)因?yàn)槊孛鼙┞抖粐樀?。但十有八九，塔吉特其?shí)也拿不準(zhǔn)收到折價(jià)券的顧客究竟有沒有懷孕。想要利用分析工具賺錢，其實(shí)并不需要我們正確知道全部事實(shí)，只要稍稍提高一點(diǎn)點(diǎn)市場(chǎng)精準(zhǔn)度就足以帶來(lái)可觀的收益。我們需要加以注意的，僅僅是海量數(shù)據(jù)的局限性以及貿(mào)然使用它會(huì)帶來(lái)的危險(xiǎn)。