大數(shù)據(jù)時代的預(yù)測藝術(shù)_數(shù)據(jù)分析師培訓(xùn)

千呼萬喚，納特西爾弗的新書《信號和噪聲》終于要在中國上市了。西爾弗的這本書不僅是他之前預(yù)測經(jīng)驗的全方位總結(jié)，也同時在探索其他領(lǐng)域預(yù)測的可行性，比如本書的開篇幾章講的試圖還原諸如2008年金融危機、天氣預(yù)報以及地震等一些失敗的預(yù)測，這雖然讓人覺得有些馬后炮的感覺，但西爾弗顯然是在為他的理論造勢，或者說是在鋪墊。所有這些失敗都指向一個問題：為什么在這個海量信息的大數(shù)據(jù)時代，預(yù)測還是不可避免的失??？

　　納特西爾弗 統(tǒng)計學(xué)家、作家和政治網(wǎng)站538.com的創(chuàng)始人。2008年美國大選期間他成功預(yù)測出49個州的選舉結(jié)果，2012年大選期間更是成功預(yù)測出全部50個州的選舉結(jié)果，被稱為“神奇小子”。2009年，《時代》周刊將他評選為全球100位最具影響力的人物之一。

　　由于工作關(guān)系，之前不少在美國同行的文章里看到對納特西爾弗的評價，都對其在數(shù)據(jù)模型與預(yù)測方面的才能贊不絕口。

　　他也的確是個很有故事的人。從小酷愛數(shù)據(jù)的他，大學(xué)畢業(yè)后去畢馬威工作四年，期間開始研究網(wǎng)絡(luò)撲克，隨后辭職專心玩網(wǎng)絡(luò)撲克。再然后他開始研發(fā)一套可預(yù)測棒球的數(shù)據(jù)模型，2008年西爾弗利用這套起源于棒球的數(shù)據(jù)模型幾乎成功預(yù)測了美國大選結(jié)果，當(dāng)時他在全美50個州選舉中，成功預(yù)測了49個州的結(jié)果。這也使他名聲大噪。2012年，西爾弗再上一個臺階，成功預(yù)測了美國50個州的大選結(jié)果。

　　互聯(lián)網(wǎng)對預(yù)測與決策的顛覆

　　我想起最近聽到的一些故事，今年微信很火，遇到朋友時免不了要談?wù)勎⑿艑λ麄児ぷ鞯挠绊憽Ｒ晃簧砭硬块T經(jīng)理職位的朋友A抱怨，從前是部門員工向他們匯報工作，但在公司開通微信群之后，老板、各部門經(jīng)理以及員工都在這個群里，公司老板對員工的投訴建議非常清楚，這使得這位朋友感到很焦慮，因為他將失去之前信息中介的地位。而另一個朋友B的看法則有所不同，他是一位底層員工，他們公司也開通了微信群，每天大家都在群里討論公司的事情，有時他們反映的問題馬上就得到老板的回應(yīng)，并迅速解決，于是這位朋友感到微信讓公司的決策更加積極和主動。

　　這件事和預(yù)測又有什么關(guān)系？從某種意義上說，企業(yè)的決策就是對未來的一項預(yù)測。企業(yè)決策者們通常情況下是站在一種全局的角度去看問題，{CDA數(shù)據(jù)分析師培訓(xùn)}這得益于傳統(tǒng)的企業(yè)中心化組織架構(gòu)，也就是說，企業(yè)不同部門分屬不同的負(fù)責(zé)人管理，不同部門的意見和反饋先集中到各自部門領(lǐng)導(dǎo)那里，再通過部門領(lǐng)導(dǎo)反饋給企業(yè)老板。這是一種類似于“煙囪式”的匯報結(jié)構(gòu)，于是，擺在CEO或總裁桌上的報告都是經(jīng)過提煉的數(shù)字和問題，決策者們在此基礎(chǔ)上做出對企業(yè)發(fā)展方向的預(yù)測。

　　互聯(lián)網(wǎng)或微信就徹底顛覆了這一模式。公司所有人都在一個微信群里，任何一個員工反映的問題都會被CEO注意到，公司老板和員工幾乎會在同一時間遇到一個問題。誠然，這為公司老板了解基層情況提供了一個非常好的渠道，然而其副作用是，倘若決策者沒有全局觀，面對一切沒有過濾的信息，他還能做出像之前處理來自副總或部門領(lǐng)導(dǎo)精心提取的數(shù)據(jù)那樣處理信息嗎？

　　成功預(yù)測的三大準(zhǔn)則

　　盡管去中心化的口號很美好，但現(xiàn)實卻很殘酷。很多事實也為大數(shù)據(jù)時代的失敗預(yù)測提供了某種注腳。在西爾弗的書里，用七章的篇幅，從失敗的預(yù)測里提煉出三條準(zhǔn)則：

　　首先，必須要有足夠的信息，這是一切預(yù)測的大前提。如何在預(yù)測之前收集足夠多的信息就成了預(yù)測成功與否的標(biāo)準(zhǔn)，早些年，天氣預(yù)報一直被人詬病其不夠精確，很大程度上還是因為信息太少，導(dǎo)致預(yù)測時出現(xiàn)種種偏差。

　　其次，預(yù)測需要一個適當(dāng)?shù)姆椒ɑ蚰Ｐ?，用來處理第一階段里收集到的大量信息。

　　2008年美國金融危機前，就有大量經(jīng)濟學(xué)家以及評級機構(gòu)將信息進行處理后發(fā)現(xiàn)，房地產(chǎn)泡沫的危險系數(shù)非常高，然而他們因種種原因放過這個結(jié)論，如該書里所言：“他們只是不想讓“音樂”停下來罷了”，于是就有了這第三個要素：以客觀理性的態(tài)度對待這些信息以及經(jīng)過處理后所呈現(xiàn)的數(shù)據(jù)，譬如在深藍與卡斯帕羅夫?qū)Q中，深藍就完美詮釋了什么是客觀與理性，相比而言，卡斯帕羅夫就稍遜一籌，當(dāng)然你要知道，深藍只是一臺機器。

　　本書的前7章，涉及政治、經(jīng)濟（金融）、棒球、天氣、地震、流行病等多個領(lǐng)域，知識領(lǐng)域跨度之大還是讓我們看到了讀者的嚴(yán)謹(jǐn)和認(rèn)真，但本書的精華部分其實是在后半部分。在第八章里，作者拋出了自己預(yù)測理論的基礎(chǔ)——貝葉斯定理。貝葉斯定理是英國數(shù)學(xué)家托馬斯貝葉斯1763年提出的一個理論，希望通過某種數(shù)學(xué)的手段，對一件事情發(fā)生的可能性進行預(yù)測，他也成功地做到了這一點，其定理的核心就是通過已知情況對未知進行預(yù)測，而且，相關(guān)情況的概率越大，就越有可能預(yù)測成功，這和上文提到的三要素有異曲同工之妙。貝葉斯定理如今在投資學(xué)中運用得非常廣泛，而互聯(lián)網(wǎng)的很多技術(shù)也依賴于貝葉斯定理。

　　預(yù)測的困難性：極客們并不能完全取代球探

　　盡管貝葉斯定理在預(yù)測方面已有非常高的成功率，但作者還是反復(fù)強調(diào)預(yù)測的困難性。我們也可通過成功預(yù)測三要素理解作者這樣說的原因，你如何保證收集信息的準(zhǔn)確性？你如何構(gòu)建合適的數(shù)學(xué)模型和工具？你又如何克服預(yù)測過程中的私人因素？即使前兩個條件都具備，人類自身能擺脫預(yù)測中的主觀成分嗎？這種困難在卡斯帕羅夫?qū)﹃嚿钏{時尤為明顯，早在1996年卡氏就曾與深藍有過交手，當(dāng)時卡氏以4比2勝出，但這條新聞并未引起多大反響。一年后，改進版的深藍終于3.5:2.5打敗了卡氏。卡斯帕羅夫曾回憶當(dāng)時他的頭腦非?；靵y，完全不想比賽。而對手——深藍，依然保持最冷靜的“心態(tài)”。無怪乎有媒體賽后稱深藍并沒有贏得比賽，而是卡斯帕羅夫輸?shù)袅吮荣悺?/span>

　　在NBA歷史上，林書豪或許是球探們最失敗的預(yù)測之一，當(dāng)年被八家球隊拒絕，好容易進入紐約尼克斯，在默默無聞中開始他的職業(yè)生涯，直到某天他才迎來人生第一個機會，并一舉成名，這也再次佐證了作者的無奈，的確“統(tǒng)計學(xué)使讓球運動發(fā)生了革命，但計算機極客們并不能完全取代球探?！钡缃?，這些球探們真的很需要計算機來幫助他們做出預(yù)測。