大數(shù)據(jù)的承諾和陷阱

舍恩伯格那種放棄因果關(guān)系而只考察相關(guān)性的思路，與其說(shuō)是一種進(jìn)步，倒不如說(shuō)是一種思維紊亂。因?yàn)樗焕谖覀兊南乱徊筋A(yù)測(cè)，也無(wú)法采取行動(dòng)

為什么我們知道的多，困惑卻更多？

我們時(shí)時(shí)刻刻都在預(yù)測(cè)：太陽(yáng)會(huì)不會(huì)照常升起？廣州恒大能不能奪得冠軍？A股明天會(huì)不會(huì)大漲？朋友創(chuàng)辦的這家公司能不能獲得風(fēng)險(xiǎn)投資？……我們也無(wú)時(shí)無(wú)刻不在驗(yàn)證過(guò)往的預(yù)測(cè)，而且往往帶有成本和收益，比如賭球、炒股或者創(chuàng)業(yè)，結(jié)果都會(huì)帶來(lái)正負(fù)收益。

在預(yù)測(cè)和證實(shí)（證偽）之間，是我們無(wú)意識(shí)的信念或精心建構(gòu)的理論。從笛卡爾到康德，從卡爾·波普到索羅斯，關(guān)于我們?nèi)绾伟l(fā)現(xiàn)規(guī)律并作出預(yù)測(cè)，有無(wú)數(shù)的研究和哲學(xué)探討。而今天，隨著大數(shù)據(jù)時(shí)代的來(lái)臨，又有很多專家開始反思這個(gè)經(jīng)典的認(rèn)識(shí)論問(wèn)題，并為之添加談資和養(yǎng)料。

舍恩伯格是"大數(shù)據(jù)"概念的著名吹鼓手，其著作《大數(shù)據(jù)時(shí)代》認(rèn)為，隨著人們看待數(shù)據(jù)的方式的變化—從局部變?yōu)槿恳约皬募儍糇優(yōu)榱鑱y，思維方式也應(yīng)該轉(zhuǎn)型，即從因果關(guān)系轉(zhuǎn)向相關(guān)性。或者說(shuō)，只要知道"是什么"，而不需要知道"為什么"。

他在書中提到這樣一個(gè)例子：統(tǒng)計(jì)學(xué)家們用二手車數(shù)據(jù)建立了一個(gè)算法系統(tǒng)，來(lái)預(yù)測(cè)哪些車更可能出現(xiàn)質(zhì)量問(wèn)題。相關(guān)性分析表明，橙色車出現(xiàn)質(zhì)量問(wèn)題的可能性只有其他車的一半。

這是為什么呢？因?yàn)槌壬嚨能囍鞲鼝圮?？橙色車在制造方面更精良？還是因?yàn)槌壬嚫@眼、出車禍的概率更?。坎恢?，舍恩伯格也認(rèn)為無(wú)須知道。

不過(guò)，這種看重相關(guān)性而不追究因果關(guān)系的思路，其實(shí)是不利于預(yù)測(cè)和下一步行動(dòng)的。比如，我們是不是應(yīng)該建議車主把車漆成橙色呢？這樣會(huì)使車輛減少質(zhì)量問(wèn)題嗎？不知道。因?yàn)槌壬蛙囕v出現(xiàn)質(zhì)量問(wèn)題之間的內(nèi)部關(guān)系，我們不清楚。

有個(gè)經(jīng)典的社會(huì)學(xué)考題是這樣的：冰淇淋的銷量和強(qiáng)奸案的發(fā)生率存在線性關(guān)系，即一個(gè)增長(zhǎng)，另一個(gè)也增長(zhǎng)。不過(guò)，兩者之間顯然沒(méi)有因果關(guān)系，而只有相關(guān)關(guān)系。另一個(gè)變量，即天氣變暖，才是兩者之間的真正橋梁。

所以，舍恩伯格這種放棄因果關(guān)系而只考察相關(guān)性的思路，與其說(shuō)是一種進(jìn)步，倒不如說(shuō)是一種思維紊亂。因?yàn)樗焕谖覀兊南乱徊筋A(yù)測(cè)，也無(wú)法采取行動(dòng)。

而新書《信號(hào)與噪聲》恰好是一針清醒劑。作者納特·西爾弗認(rèn)為，在任何一個(gè)數(shù)據(jù)豐富的領(lǐng)域，尋找預(yù)測(cè)模式都很容易。關(guān)鍵是要分辨出這些模式到底是噪聲還是信號(hào)。而關(guān)于概率運(yùn)算的貝葉斯定理，仍然是西爾弗推崇的一種預(yù)測(cè)思路。

他舉了天氣預(yù)報(bào)、政治選舉預(yù)測(cè)、地震預(yù)測(cè)、棋牌游戲、股市、恐怖襲擊等多個(gè)領(lǐng)域的例子，認(rèn)為我們對(duì)未來(lái)的預(yù)測(cè)，應(yīng)該基于可能性，以概率的方法思考問(wèn)題，在不斷試錯(cuò)中進(jìn)步。像天氣預(yù)報(bào)就是這樣的典型，比如氣象小姐會(huì)說(shuō)，明日降水概率為60%。而且，西爾弗指出，在過(guò)去25年里，颶風(fēng)中心的預(yù)測(cè)準(zhǔn)確率提高了350%，這是其他領(lǐng)域根本無(wú)法企及的進(jìn)步。

試錯(cuò)法，是哲學(xué)家卡爾·波普推崇的科學(xué)研究方法。而西爾弗發(fā)現(xiàn)，一個(gè)成功的NBA球賽賭徒也是如此：大膽預(yù)測(cè)，不斷犯錯(cuò)，不斷嘗試。只要獲得新信息，就應(yīng)該更新自己的預(yù)測(cè)。

這是一種更加進(jìn)取的思維方式，又何嘗不是一種嶄新的生活理念呢？

1440年，約翰內(nèi)斯·古騰堡發(fā)明了印刷機(jī)，這項(xiàng)發(fā)明使普通民眾能方便地了解信息，由此產(chǎn)生的思想洪流帶來(lái)了前所未有的結(jié)果和影響。印刷機(jī)的發(fā)明點(diǎn)燃了1775年的工業(yè)革命之火。這一發(fā)明促成了一些歷史事件，這些事件開啟了歐洲啟蒙運(yùn)動(dòng)，也加速了美利堅(jiān)合眾國(guó)的建立。

印刷機(jī)問(wèn)世的第一個(gè)世紀(jì)里，書籍的生產(chǎn)規(guī)模呈指數(shù)型增長(zhǎng)，數(shù)量增長(zhǎng)了近30倍。人類知識(shí)旋即進(jìn)入快速積累期。

信息的增長(zhǎng)速度遠(yuǎn)遠(yuǎn)超過(guò)了人們處理信息和分辨信息的速度。共享信息的不斷增長(zhǎng)反而加速了民族和宗教的孤立進(jìn)程。

印刷機(jī)的早期使用者中，最狂熱的要數(shù)那些傳播福音的人了。馬丁·路德的《九十五條論綱》被古騰堡的印刷機(jī)復(fù)印了30多萬(wàn)次。路德的新教改革所導(dǎo)致的教會(huì)分裂，很快使歐洲陷入了戰(zhàn)爭(zhēng)。單單一個(gè)三十年戰(zhàn)爭(zhēng)，德國(guó)人口就減少了1/3。這堪稱人類歷史上最血腥的時(shí)代。

但就是在這樣一個(gè)充滿戰(zhàn)亂的時(shí)代，印刷機(jī)卻悄然推動(dòng)著科學(xué)與文學(xué)的進(jìn)步。

大數(shù)據(jù)的承諾和陷阱

到了時(shí)下，最流行的要數(shù)"大數(shù)據(jù)"了。根據(jù)IBM的估計(jì)數(shù)據(jù)，現(xiàn)在我們每天生成的數(shù)據(jù)高達(dá)250兆億個(gè)字節(jié)，超過(guò)過(guò)去兩年里生成的數(shù)據(jù)總量的90%。

信息的指數(shù)型增長(zhǎng)有時(shí)被人們視為萬(wàn)靈藥，就好比20世紀(jì)70年代出現(xiàn)的計(jì)算機(jī)一樣?！哆B線》雜志的前主編克里斯·安德森曾經(jīng)在2008年的一篇文章中說(shuō)："數(shù)量龐大的數(shù)據(jù)會(huì)使人們不再需要理論，甚至不再需要科學(xué)的方法。"

我認(rèn)為其內(nèi)容是積極樂(lè)觀的，卻被嚴(yán)重曲解了。雖然那些數(shù)字不能為自己辯護(hù)，但我們卻可以作為數(shù)字的發(fā)言人，賦予它們意義。我們可能會(huì)以對(duì)自己有利的方式對(duì)這些數(shù)據(jù)進(jìn)行分析和解釋，而這些方式很可能與這些數(shù)據(jù)（所代表）的客觀現(xiàn)實(shí)不相吻合。數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)機(jī)制可能會(huì)成功，也可能會(huì)失敗。一旦我們否認(rèn)數(shù)據(jù)處理過(guò)程中存在著主觀因素，失敗的概率就會(huì)增加。

在4年時(shí)間里，我對(duì)十多個(gè)行業(yè)和領(lǐng)域中的數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)機(jī)制進(jìn)行了調(diào)查，我也曾與十幾個(gè)領(lǐng)域中的100多位專家交流過(guò)，讀過(guò)數(shù)百篇期刊文章和論文，為了實(shí)地調(diào)查，我跑遍了從拉斯韋加斯到哥本哈根的許多地方，卻發(fā)現(xiàn)"大數(shù)據(jù)"時(shí)代的預(yù)測(cè)活動(dòng)發(fā)展得并不順利。

新千年給美國(guó)人帶來(lái)的是噩夢(mèng)般的開始。我們沒(méi)有預(yù)測(cè)到"9·11"恐怖襲擊事件，而這一慘劇的出現(xiàn)并非因?yàn)槲覀兊男畔T乏。正如60年前的"珍珠港事件"一樣，其實(shí)所有的信號(hào)都在那里，只是我們沒(méi)能將它們聯(lián)系起來(lái)。因?yàn)閷?duì)恐怖分子可能會(huì)有的舉動(dòng)不夠了解，所以我們對(duì)那些數(shù)據(jù)視而不見，不知道大難將至。

近期，對(duì)全球金融危機(jī)的預(yù)測(cè)也總是失敗。我們天真地相信各種（預(yù)測(cè)）模式，卻沒(méi)有認(rèn)識(shí)到這些模式在我們進(jìn)行假設(shè)選擇時(shí)根本不堪一擊，因此總會(huì)帶來(lái)慘痛的后果。在日常生活中，我發(fā)現(xiàn)盡管人們也在努力嘗試，卻仍然無(wú)法提早預(yù)測(cè)出經(jīng)濟(jì)衰退。幸好在控制通脹方面，我們已經(jīng)取得長(zhǎng)足進(jìn)步，否則那些經(jīng)濟(jì)決策者就只能"盲目飛行"了。

與20世紀(jì)70年代一樣，近來(lái)人們十分熱衷于對(duì)地震進(jìn)行預(yù)測(cè)，其中大部分高度依賴數(shù)學(xué)方法和數(shù)據(jù)處理技術(shù)。但是，這些預(yù)測(cè)只是假想一些從未發(fā)生過(guò)的地震，對(duì)真正發(fā)生的那些地震卻沒(méi)有預(yù)測(cè)到。

錯(cuò)誤地預(yù)測(cè)整個(gè)學(xué)科的發(fā)展常會(huì)危及整個(gè)社會(huì)。以生物醫(yī)藥學(xué)的研究為例。2005年，一位土生土長(zhǎng)的雅典人，醫(yī)學(xué)研究者約翰·P·埃尼迪斯，發(fā)表了一篇頗具爭(zhēng)議性的論文—《為什么大多數(shù)發(fā)表的研究成果都是騙人的》。

這些大數(shù)據(jù)終將推動(dòng)社會(huì)進(jìn)步，至于這種進(jìn)步的速度有多快，或者進(jìn)步的同時(shí)是否還會(huì)倒退，這些都取決于我們自己。

人類并沒(méi)有多少天生的防御能力，人類的速度沒(méi)有多么快，身體也沒(méi)有多么強(qiáng)壯；人類沒(méi)有利爪和尖牙，也沒(méi)有護(hù)身的硬殼；人類不能噴出毒液，不能偽裝自己，也不能飛翔。我們之所以能生存下來(lái)，是因?yàn)槲覀冞\(yùn)用了智慧。

在1970年出版的《未來(lái)的沖擊》一書中，未來(lái)學(xué)大師阿爾文·托夫勒對(duì)他所說(shuō)的"信息超負(fù)荷"的一些后果進(jìn)行了預(yù)測(cè)。他認(rèn)為，盡管世界本身正走向分化，變得更加復(fù)雜，但人類仍會(huì)以堅(jiān)持自身看法的方式使這個(gè)世界變得簡(jiǎn)單，這便是我們的防御機(jī)制。

正是出于這個(gè)原因，我將預(yù)測(cè)視為人們共同的事業(yè)。雖然預(yù)測(cè)很難，但解決方法還是有的。

在任何一個(gè)數(shù)據(jù)豐富的領(lǐng)域，尋找模式很容易，一般的預(yù)測(cè)者也都是這么做的。關(guān)鍵是要分辨出這些模式到底是噪聲還是信號(hào)。雖然還沒(méi)有找到關(guān)鍵點(diǎn)，但是有一種思維過(guò)程可以幫助我們作決定，這就是貝葉斯定理。

預(yù)測(cè)和貝葉斯定理

托馬斯·貝葉斯，大概于1701年出生。盡管貝葉斯所著圖書的種類并不算多，但還是被選為英國(guó)皇家學(xué)會(huì)會(huì)員。在英國(guó)皇家學(xué)會(huì)，他擔(dān)任內(nèi)部評(píng)論家或者智力辯論的裁判員。

貝葉斯的作品《機(jī)會(huì)的學(xué)說(shuō)概論》，又稱《論有關(guān)機(jī)遇問(wèn)題的求解》，直到他1763年去世之后，由他的朋友理查德·普萊斯引介到英國(guó)皇家學(xué)會(huì)，引起了學(xué)會(huì)的注意，隨后才得以出版。這部作品主要研究的是，當(dāng)我們遇到新數(shù)據(jù)時(shí)，該如何使用概率的方法進(jìn)行推理。

今天公認(rèn)的貝葉斯定理就是一個(gè)普通的不能再普通的數(shù)學(xué)表達(dá)式，是由法國(guó)數(shù)學(xué)家、天文學(xué)家拉普拉斯推導(dǎo)出來(lái)的：

然而，就是這樣一個(gè)簡(jiǎn)單的運(yùn)算，卻可以推導(dǎo)出重大的預(yù)測(cè)。

貝葉斯定理涉及條件概率，也就是說(shuō)，一旦發(fā)生了某個(gè)事件，這一定理就可以告訴我們一種理論或假設(shè)是否正確。

假設(shè)你和伴侶同住，某天出差回家后發(fā)現(xiàn)自己的衣櫥里多出一件陌生的內(nèi)衣。你可能會(huì)奇怪：自己的伴侶是不是出軌了？不論你相信與否，對(duì)于這樣的問(wèn)題，貝葉斯定理總能給出答案—假如你知道（或愿意預(yù)估）下列3個(gè)量。

第一，你需要預(yù)測(cè)出自己的伴侶在出軌的情況下，這件內(nèi)衣出現(xiàn)的概率。為了解決這個(gè)問(wèn)題，我們暫且假設(shè)你是一位女性，而你的伴侶是一位男性，那么，此時(shí)我們所說(shuō)的內(nèi)衣就是一件女式內(nèi)衣。如果你的伴侶出軌了，那么很容易想象這件內(nèi)衣是如何進(jìn)入你的衣櫥的。那么，即使他確實(shí)要做對(duì)不起你的事，你也希望他能夠小心行事。在他確實(shí)背叛了你的情況下，我們認(rèn)為，這件內(nèi)衣出現(xiàn)的概率是50%。

第二，你需要預(yù)測(cè)出自己的伴侶在沒(méi)有出軌的情況下，這件內(nèi)衣出現(xiàn)的概率。如果他沒(méi)有出軌，有什么理由證明那件內(nèi)衣的清白呢？當(dāng)然有些理由會(huì)令人不快（比如這件內(nèi)衣也有可能是他自己的）?；蛟S，他把衣服搞混了；或者你的伴侶有一位紅顏知己，兩人之間只存在純友誼，而你對(duì)此也深信不疑，她寄宿一晚忘了帶走內(nèi)衣；或者這就是你的伴侶給你準(zhǔn)備的一件禮物，只不過(guò)忘了把它包起來(lái)。盡管這些理由有些荒謬，但也能說(shuō)得通。你將這種情況出現(xiàn)的概率定為5%。

第三，這點(diǎn)最為重要，你需要預(yù)測(cè)貝葉斯定理中所說(shuō)的先驗(yàn)概率（或者簡(jiǎn)稱先驗(yàn)）。在發(fā)現(xiàn)內(nèi)衣之前，你認(rèn)為自己的伴侶出軌的概率有多大？當(dāng)然，現(xiàn)在很難完全客觀地考慮這個(gè)問(wèn)題，因?yàn)槟阋呀?jīng)發(fā)現(xiàn)了內(nèi)衣。（在理想狀態(tài)下，在開始查驗(yàn)證據(jù)之前，你就已經(jīng)算出了先驗(yàn)概率。）但有時(shí)我們可以依據(jù)經(jīng)驗(yàn)推斷某事件發(fā)生的概率。比如，研究發(fā)現(xiàn)，已婚夫婦任何一年的出軌概率都在4%左右，所以，我們可以將這個(gè)概率視為先驗(yàn)概率。

如果我們算出了以上3個(gè)概率值，就可以依據(jù)貝葉斯定理得出后驗(yàn)概率：只有29%，這個(gè)結(jié)果也許看似仍有悖常理—那件內(nèi)衣果真是清白的嗎？但這一概率之所以較低，是因?yàn)槟惆寻閭H出軌的先驗(yàn)概率設(shè)定得很低。盡管一個(gè)清白的男人不能像出過(guò)軌的男人那樣，能為一件陌生內(nèi)衣的出現(xiàn)找出很多看似合理的解釋，但你一開始就把他當(dāng)作清白的人，這一點(diǎn)對(duì)方程式影響很大。

這里，我還要提到一個(gè)比較沉重的例子："9·11"恐怖襲擊事件。2001年9月11日清晨，當(dāng)我們從夢(mèng)中醒來(lái)時(shí)，大部分人都想不到恐怖分子的飛機(jī)會(huì)撞向曼哈頓世貿(mào)中心大樓。但是，世貿(mào)中心第一次遭遇襲擊之后，我們才意識(shí)到這也許是一次恐怖襲擊。直到第二座高樓被襲擊之后，我們才相信確實(shí)遭遇了恐怖襲擊。

貝葉斯定理可以復(fù)制這個(gè)結(jié)果。比如，在第一架飛機(jī)撞擊大樓之前，我們預(yù)測(cè)曼哈頓的高樓遭遇恐怖襲擊的概率只有1∶20000或0.005%。當(dāng)然，我們還是會(huì)認(rèn)為世貿(mào)中心意外遭遇飛機(jī)撞擊的概率是非常低的。人們靠經(jīng)驗(yàn)也能準(zhǔn)確地預(yù)測(cè)出0.005%這個(gè)數(shù)字。9月11日之前的25000天，一直有飛機(jī)盤旋在曼哈頓的上空，而期間只發(fā)生了兩次這樣的意外事故：一次是1945年的美國(guó)帝國(guó)大廈事件，另一次是1946年的川普大廈事件。這樣看來(lái)，此類意外事故的日發(fā)生概率只有1∶12500。在第一架飛機(jī)撞上世貿(mào)中心大樓的那一刻，如果用貝葉斯定理計(jì)算這些數(shù)據(jù)，發(fā)生恐怖襲擊的概率便會(huì)從0.005%劇增至38%。

然而，貝葉斯定理暗含的意思并不是說(shuō)，我們對(duì)概率的預(yù)測(cè)只可以作一次更新，相反的，鑒于新證據(jù)的不斷涌現(xiàn)，我們需要不斷地更新自己的預(yù)測(cè)結(jié)果。于是，第一次恐怖襲擊的后驗(yàn)概率38%，在第二次襲擊之前就會(huì)變成先驗(yàn)概率。這時(shí)再來(lái)進(jìn)行世貿(mào)中心遭遇第二次恐怖襲擊的概率運(yùn)算，遭遇襲擊的概率就變成了99.999%，這就表示恐怖襲擊必會(huì)出現(xiàn)。在陽(yáng)光燦爛的紐約出現(xiàn)意外事故的概率很低，而就像我們推斷出來(lái)的可怕結(jié)果一樣，第二次恐怖襲擊很有可能會(huì)發(fā)生。

不斷犯錯(cuò)，不斷嘗試，這或許是貝葉斯定理應(yīng)用起來(lái)最容易的一個(gè)原則。或者說(shuō)，一旦獲得新信息，我們就應(yīng)該更新自己的預(yù)測(cè)。