小心大數(shù)據(jù)的陷阱_數(shù)據(jù)分析師

前不久騰訊舉辦了一場(chǎng)夏季思享會(huì)，其主題是大數(shù)據(jù)。關(guān)于大數(shù)據(jù)，大家炒作得更多的是機(jī)遇、威力，比方說越來越多人利用 Google 的大數(shù)據(jù)來研究趨勢(shì)，輔助分析決策，但是這場(chǎng)思享會(huì)從另一個(gè)角度分享了一個(gè)很好的思考：大數(shù)據(jù)也可能是“大忽悠”。

而最近對(duì) Google Flu Trends（流感趨勢(shì)）的一些研究正好佐證了這一點(diǎn)。

說到 Google Flu Trends，首先必須先提一提 Google Trends 和 Google Correlate。Google Trends 利用對(duì)用戶搜索的大數(shù)據(jù)分析來獲得人類某些活動(dòng)的趨勢(shì)，只要在 Google Trends 上輸入某些查詢關(guān)鍵字即可返回相關(guān)活動(dòng)的數(shù)據(jù)序列。而 Google Correlate 則是輸入數(shù)據(jù)序列可返回一組結(jié)果呈類似模式（相關(guān)性）的查詢，有點(diǎn)類似于 Google Trends 的反函數(shù)。

Google Flu Trends 是 Google Trends 最早也是最知名的應(yīng)用之一。鑒于很多人患流感是往往會(huì)上 Google 查詢了解疾病情況和用藥，因此 Google 發(fā)現(xiàn)這種查詢與流感爆發(fā)存在著某種相關(guān)關(guān)系。Google Trends 曾經(jīng)有過多次對(duì)流感的成功預(yù)測(cè)，包括 2011/12 年的美國(guó)流感、2007/08 年瑞士流感、2005/06 年德國(guó)流感、2007/08 比利時(shí)流感等，其及時(shí)性甚至要比美國(guó)疾病預(yù)防控制中心還要高。

這顯示出了搜索“流感”與流感爆發(fā)的相關(guān)性。

另一個(gè)例子是“宿醉”。比方說在 Google Trends 輸入“hangover（宿醉）”，你會(huì)發(fā)現(xiàn)這種情況在周六開始冒頭，然后周日到達(dá)巔峰，而到了周一則急劇下降。這種模式與輸入“伏特加”的查詢結(jié)果類似（滯后一天）。

但是數(shù)據(jù)越大未必就能帶來更高的預(yù)測(cè)率。甚至還會(huì)帶來“假規(guī)律”和“偽相關(guān)”。比方說，搜索 2004 至 2012 年間的美國(guó)汽車銷售與“印度餐館”，結(jié)果發(fā)現(xiàn)二者之間竟然存在相關(guān)關(guān)系。這個(gè)東西顯然是無法解釋的。

偽相關(guān)的原因是什么呢？

首先，相關(guān)性并不意味著因果關(guān)系。比方說，Google Flu Trends 對(duì)趨勢(shì)的預(yù)測(cè)并非屢試不爽。有幾次 Google Trends 就嚴(yán)重高估了流感病例的數(shù)量，包括 2011/12 的美國(guó)流感，2008/09 瑞士流感，2008/09 德國(guó)流感、2008/09 比利時(shí)流感等。

英國(guó)倫敦大學(xué)學(xué)院的研究人員對(duì)此進(jìn)行了研究。結(jié)果發(fā)現(xiàn)，到 Google 搜索“流感”的人可以分成兩類，一類是感冒患者，一類是跟風(fēng)搜索者（可能是因?yàn)槊襟w報(bào)道而對(duì)感冒話題感興趣者）。

顯然第一類人的數(shù)據(jù)才是有用的。其搜索是內(nèi)部產(chǎn)生的，獨(dú)立于外界的。因此這些人的搜索模式應(yīng)該與受到外界影響而進(jìn)行搜索的人的模式不同。而正是第二類人的社會(huì)化搜索使得 Google Flu Trends 的預(yù)測(cè)失真。這正是因?yàn)?Google Flu Trends 把搜索“流感”與得流感的相關(guān)性當(dāng)成了因果關(guān)系所致。

而稍早前美國(guó)東北大學(xué)與哈佛大學(xué)的研究人員對(duì) Google Flu Trends 的失真案例進(jìn)行的另一組研究則認(rèn)為，這反映出了熱炒大數(shù)據(jù)的氛圍下誕生的一股大數(shù)據(jù)自大思潮。這股思潮認(rèn)為，大數(shù)據(jù)完全可以取代傳統(tǒng)的數(shù)據(jù)收集方法。其最大問題在于，絕大多數(shù)大數(shù)據(jù)與經(jīng)過嚴(yán)謹(jǐn)科學(xué)試驗(yàn)和采樣設(shè)計(jì)得到的數(shù)據(jù)之間存在很大的不同。首先，大未必全；其次，大則可能魚龍混雜。

此外，Google搜索算法本身的變化也有可能影響到Google Flu Trends的結(jié)果。這個(gè)原因不難理解。要知道，Google 搜索的調(diào)整非常頻繁，單去年就進(jìn)行了890項(xiàng)改進(jìn)。其中就有不少屬于算法的調(diào)整。媒體對(duì)于流感流行的報(bào)道會(huì)增加與流感相關(guān)的詞匯的搜索次數(shù)，也會(huì)令 Google 增加相關(guān)搜索的推薦。從而令一些本身并不感冒的人也對(duì)流感產(chǎn)生了興趣，進(jìn)而把數(shù)據(jù)弄臟。

如何清洗數(shù)據(jù)呢？歸根到底還是需要對(duì)數(shù)據(jù)進(jìn)行模式分析。在流感趨勢(shì)這個(gè)例子，研究人員認(rèn)為，執(zhí)行獨(dú)立搜索的患流感人群的模式會(huì)隨著時(shí)間推移而異于社會(huì)化搜索。其表現(xiàn)應(yīng)該是在流感爆發(fā)時(shí)搜索急劇攀升，然后隨著流感消失而緩慢下降。相反，社會(huì)化搜索則會(huì)表現(xiàn)得更為勻稱。數(shù)據(jù)表明，在 Google 流感趨勢(shì)出現(xiàn)高估的時(shí)候，趨勢(shì)曲線的對(duì)稱性的確更高。

這說明在分析大數(shù)據(jù)時(shí)必須要注意此類陷阱。充斥的大數(shù)據(jù)集以及統(tǒng)計(jì)學(xué)家對(duì)分析結(jié)果的傳播會(huì)令真實(shí)的數(shù)據(jù)被放大或弄臟。

正如《The Parable of Google Flu: Traps in Big Data Analysis》的作者所認(rèn)為那樣，數(shù)據(jù)的價(jià)值并不僅僅體現(xiàn)在其“大小”上。利用創(chuàng)新性數(shù)據(jù)分析方法去分析數(shù)據(jù)才是本質(zhì)。

當(dāng)然，在未來數(shù)據(jù)能夠逐步成為真正的大數(shù)據(jù)，并且數(shù)字世界與實(shí)體世界的映射趨于一致時(shí)，大數(shù)據(jù)也許就能發(fā)揮其完全的威力，乃至于改變我們解決問題的方式。