為什么有的大數(shù)據(jù)分析背離事實？

大數(shù)據(jù)憑借著龐大的數(shù)據(jù)信息庫，可以更好地(數(shù)據(jù)分析師)分析人類行為和人與人之間大規(guī)模的互動。然而，由于大數(shù)據(jù)的搜集做不到像“小數(shù)據(jù)”那樣精確，因此(數(shù)據(jù)分析師認(rèn)證后)分析解讀大數(shù)據(jù)是一件十分復(fù)雜的事。

研究人員以“谷歌流感趨勢”（Google Flu Trends，GFT）作為范例，解釋了大數(shù)據(jù)分析為何會背離事實，并提出了大數(shù)據(jù)時代背景下一些值得思考的事。

谷歌發(fā)現(xiàn)某些搜索關(guān)鍵詞可以很好地標(biāo)示流感疫情的現(xiàn)狀。GFT的工作原理就是使用經(jīng)過匯總的谷歌搜索數(shù)據(jù)來估測流感疫情，其預(yù)測結(jié)果將與美國疾病預(yù)防控制中心（CDC）的監(jiān)測報告相比對。但是2013年2月，《自然》雜志發(fā)文指出，GFT預(yù)測的流感樣病例門診數(shù)超過了CDC根據(jù)全美各實驗室監(jiān)測報告得出的預(yù)測結(jié)果的兩倍。

研究人員認(rèn)為造成這種結(jié)果的兩個重要原因分別是“大數(shù)據(jù)傲慢”和算法變化?！按髷?shù)據(jù)傲慢”指的是這樣一種觀點：即認(rèn)為大數(shù)據(jù)可以完全取代傳統(tǒng)的數(shù)據(jù)收集方法，而非作為后者的補充。這種觀點的最大問題在于，絕大多數(shù)大數(shù)據(jù)與經(jīng)過嚴(yán)謹(jǐn)科學(xué)試驗得到的數(shù)據(jù)之間存在很大的不同。

編寫一個將5000萬搜索關(guān)鍵詞與1152個數(shù)據(jù)點相匹配的算法是非常困難的，很有可能會出現(xiàn)過度擬合的情況：很多關(guān)鍵詞只是看似與流感相關(guān)，但實際上卻并無關(guān)聯(lián)。事實上，在2013年的報道之前，GFT就多次在很長一段時間內(nèi)過高地估計了流感的流行情況。 2010年的一項研究發(fā)現(xiàn)，使用CDC的滯后預(yù)測報告來預(yù)測當(dāng)前的流感疫情，其準(zhǔn)確性甚至都高于GFT的預(yù)測結(jié)果。

谷歌搜索引擎的算法并非一成不變的，谷歌對算法會進(jìn)行不斷地調(diào)整和改進(jìn)。而搜索引擎算法的改變和用戶的搜索行為會影響GFT的預(yù)測結(jié)果，比如媒體對于流感流行的報道會增加與流感相關(guān)的詞匯的搜索次數(shù)，進(jìn)而影響GFT的預(yù)測。

另外，相關(guān)搜索的算法也會對GFT造成影響。例如搜索“發(fā)燒”，相關(guān)搜索中會給出關(guān)鍵詞“流感”，而搜索“咳嗽”則會給出“普通感冒”。除此以外，搜索建議也會進(jìn)一步增加某些熱門詞匯的搜索頻率。

因為GFT會在它的模型中使用相對流行的關(guān)鍵詞，所以搜索引擎算法對GFT的預(yù)測結(jié)果會產(chǎn)生不利影響。奇怪的是，GFT在構(gòu)建時是基于這樣一種假設(shè)：特定關(guān)鍵詞的相對搜索量和特定事件之間存在相關(guān)性，問題是用戶的搜索行為并不僅僅受外部事件影響，它還受服務(wù)提供商影響。

如果谷歌可以公開衍生數(shù)據(jù)和匯總數(shù)據(jù)，那么研究者就可以更好地了解GFT背后的算法。此外，谷歌還需要解決可重復(fù)性的問題：利用谷歌的Correlate服務(wù)得到的與流感高度相關(guān)的關(guān)鍵詞與GFT選取的關(guān)鍵詞無法匹配。

另外，GFT的優(yōu)勢在于能夠提供細(xì)化程度非常高的數(shù)據(jù)。因此與CDC相比，GFT的價值在于提供地區(qū)水平上的流感疫情預(yù)測。而且，GFT非常適合建立流感傳播的生成式模型，并且對于預(yù)測幾個月后的流感疫情具有較高的準(zhǔn)確性。

數(shù)以百萬的工程師和用戶在不斷改變著搜索引擎算法，而作為研究者則需要更好地理解這些變化，因為正是搜索引擎算法決定了我們最終得到的信息。

在論文的最后作者指出，數(shù)據(jù)的價值并不僅僅體現(xiàn)在“大小”上。真正核心的改變在于利用創(chuàng)新的數(shù)據(jù)分析(數(shù)據(jù)分析師培訓(xùn))方法去分析數(shù)據(jù)，這樣才能幫助我們更好的理解這個世界。