數(shù)據(jù)的局限:大數(shù)據(jù)分析不能告訴你什么

大數(shù)據(jù)分析的擁護(hù)者竭盡全力地鼓吹“數(shù)據(jù)驅(qū)動(dòng)”，明智的人應(yīng)該謹(jǐn)慎對(duì)待，并明確兩個(gè)問題。一，業(yè)務(wù)人員在制定特定決策時(shí)是否真正理解相關(guān)數(shù)據(jù)，是否曾經(jīng)以實(shí)用且可行的方式向管理層展示了這些數(shù)據(jù)?二，是否所有決策都有必要在收集“所有數(shù)據(jù)”之后自動(dòng)完成?

在《認(rèn)清風(fēng)險(xiǎn)：如何作出好決策》(Risk Savvy: How to Make Good Decisions)中，德國(guó)柏林Max Planck人類發(fā)展研究所管理主管Gerd Gigerenzer闡述了公共環(huán)境中風(fēng)險(xiǎn)測(cè)量與決策過程的問題，他的觀點(diǎn)同樣適用于商業(yè)領(lǐng)域。

首先，我們看看Gigerenzer舉的一些例子。它們說明了大多數(shù)人所獲得的統(tǒng)計(jì)數(shù)據(jù)只是很小一部分，而且我們很容易因?yàn)閿?shù)據(jù)的不正確性或明顯誤用而產(chǎn)生錯(cuò)誤結(jié)論。

在911事件的一年時(shí)間里，成千上萬(wàn)的美國(guó)人放棄乘坐飛機(jī)，轉(zhuǎn)而選擇開車長(zhǎng)途遠(yuǎn)行，因?yàn)樗麄兒ε掠龅较嗤囊u擊。高速公路行駛距離因此增長(zhǎng)了5%，而道路交通意外死亡人數(shù)在一年里逐月上升，已經(jīng)超過了過去五年的平均水平。此外，粗略計(jì)算有約1,600人喪身交通意外，而航空旅客及空乘人員的傷亡人數(shù)只有256人，其中還包括911事件的傷亡數(shù)字。

由于對(duì)當(dāng)時(shí)傷亡事件產(chǎn)生了主觀反應(yīng)，美國(guó)公眾完全忽視了有效的統(tǒng)計(jì)風(fēng)險(xiǎn)測(cè)量結(jié)果，即飛機(jī)的安全系數(shù)要遠(yuǎn)遠(yuǎn)高于汽車。

錯(cuò)誤的風(fēng)險(xiǎn)測(cè)量方法

1995年，英國(guó)醫(yī)藥安全委員會(huì)發(fā)布了一系列研究結(jié)果，服用第三代口服避孕藥的人患血栓癥的概率是普通人的兩倍。這個(gè)研究結(jié)果很快傳遍全世界。醫(yī)生與藥劑師向婦女傳達(dá)了由預(yù)期結(jié)論得出的警告信息：意外懷孕與妊辰激增。接下來(lái)的一年時(shí)間里，僅僅在英格蘭和威爾士流產(chǎn)案例預(yù)計(jì)增加了13,000人次。

盡管這些專家都經(jīng)過科學(xué)和醫(yī)學(xué)培訓(xùn)，但是他們嚴(yán)重忽視或忽略一個(gè)結(jié)果：絕對(duì)風(fēng)險(xiǎn)數(shù)量增加一倍才只有7000人次，也遠(yuǎn)遠(yuǎn)不及由懷孕與流產(chǎn)導(dǎo)致的血栓癥風(fēng)險(xiǎn)。因此，相同的數(shù)據(jù)有兩種描述方式：一是風(fēng)險(xiǎn)率相對(duì)增長(zhǎng)100%，二是絕對(duì)增長(zhǎng)數(shù)量為7,000。前者很容易占據(jù)新聞?lì)^條和引起公眾跟風(fēng)。而后者則不會(huì)造成太大影響，但是可能會(huì)避免很多痛苦。

Gigerenzer的書還有很多這樣的故事，如果你有興趣了解人們解讀數(shù)字?jǐn)?shù)據(jù)的方式及使用(或不使用)這些數(shù)字作為決策依據(jù)的方式，那么這本書很值得你閱讀。事實(shí)是，即使經(jīng)過科學(xué)訓(xùn)練，只有極少數(shù)人能夠正確理解這個(gè)領(lǐng)域。因此，我們?nèi)鄙賲^(qū)分不同風(fēng)險(xiǎn)表達(dá)方式及不確定性的能力，也缺乏一些幫助理解所得到結(jié)果的培訓(xùn)。對(duì)于世界上的一些概念，我們很容易陷入偏見或先入為主的錯(cuò)誤理解方式。

當(dāng)我們從“少量數(shù)據(jù)”世界(掌握簡(jiǎn)單算術(shù)就足夠應(yīng)付)過渡到充斥大數(shù)據(jù)統(tǒng)計(jì)的世界時(shí)，數(shù)據(jù)誤解產(chǎn)生的危害也出現(xiàn)指數(shù)增長(zhǎng)。無(wú)論自助服務(wù)商業(yè)智能有多厲害，它們也無(wú)法輕松擴(kuò)展變成自助服務(wù)商業(yè)分析。業(yè)務(wù)用戶(及許多數(shù)據(jù)科學(xué)家)都需要在理解和展示統(tǒng)計(jì)數(shù)據(jù)方面加強(qiáng)自身的能力。

最大的決策動(dòng)因：潛意識(shí)行為

除了技能問題，還有一個(gè)更根本的問題，而911事件關(guān)于航空旅行方式的態(tài)度改變就是一個(gè)最好的例子。我將這種現(xiàn)象稱為商業(yè)不智能(Business unIntelligence)，并且在我的同名圖書中提出了這個(gè)術(shù)語(yǔ)。按照西方商業(yè)思維方式，智慧幾乎可以完全等同于合理和理智思想，特別是在決策過程中。這忽略了大腦的現(xiàn)實(shí)情況及其思維過程，其中有90%的想法是無(wú)意識(shí)發(fā)生的。決策很少是由數(shù)據(jù)驅(qū)動(dòng)的，特別是那些會(huì)對(duì)個(gè)人產(chǎn)生影響或需要快速響應(yīng)的決策。

心理學(xué)家及諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主Daniel Kahneman在他寫的書《快思考與慢思考》中闡述了這個(gè)話題，但是他落入唯理性主義者的圈套，后者認(rèn)為無(wú)意識(shí)思維源于有意識(shí)思維。這樣就得出了一些結(jié)論：我們很容易作出一些嚴(yán)重錯(cuò)誤且非常容易受外界干擾的決策，而且總是在有意識(shí)地保護(hù)自己。或者更壞的情況是，一些專制政府可能且總是會(huì)“迫使”我們作出一些有利于自身的決策。

當(dāng)然，自我意識(shí)也很重要。然而，如果認(rèn)為我們新進(jìn)化的小小前額可以或應(yīng)該完全超越大多數(shù)大腦的長(zhǎng)期進(jìn)化但潛意識(shí)發(fā)生的感知，那么這是極其短視的。這種感知對(duì)于現(xiàn)實(shí)世界的決策過程有很多影響——形式包括內(nèi)在感受、直覺、有根據(jù)的揣測(cè)和探索，而它們會(huì)忽略得到的大部分?jǐn)?shù)據(jù)。如果只關(guān)注于收集和堆砌不斷增多的數(shù)據(jù)，那么我們就有迷失的風(fēng)險(xiǎn)。

在不確定的世界里，有一些事件是無(wú)法預(yù)測(cè)的，基于數(shù)據(jù)分析出來(lái)的概率只能讓人得到一個(gè)決策。2008年金融領(lǐng)域發(fā)生的事件表明，過份依賴于預(yù)測(cè)風(fēng)險(xiǎn)模型是災(zāi)難性的，因?yàn)橛幸恍〇|西不在模型參數(shù)的覆蓋范圍之內(nèi)。Gigerenzer指出：“問題在于不正確的風(fēng)險(xiǎn)測(cè)量：這些方法錯(cuò)誤地假定不確定的世界里有已知的風(fēng)險(xiǎn)。因?yàn)檫@些計(jì)算為一個(gè)不確定的風(fēng)險(xiǎn)產(chǎn)生了精確的數(shù)字，因此它們會(huì)產(chǎn)生一個(gè)虛假的確定性?！?/span>

在決策過程中完全依賴數(shù)據(jù)驅(qū)動(dòng)或分析工具本身具有內(nèi)在的危險(xiǎn)性。人類決策者所帶來(lái)的價(jià)值是他能夠看到環(huán)境和理解業(yè)務(wù)環(huán)境。這些洞察力并不能完全由參數(shù)來(lái)描述。當(dāng)然，它們也來(lái)源于一些信息：思想認(rèn)識(shí)中的舊記憶或新思維模式。但是，它們大多數(shù)都基于計(jì)算機(jī)科學(xué)遠(yuǎn)遠(yuǎn)無(wú)法理解的思維處理模型，計(jì)算機(jī)還完全無(wú)法模擬出思維。這是一個(gè)寶貴的東西。