大數(shù)據(jù)最重要的不是數(shù)據(jù)本身,而是數(shù)據(jù)分析

大數(shù)據(jù)的價值不是在數(shù)據(jù)本身，雖然我們需要數(shù)據(jù)，數(shù)據(jù)很多時候只是伴隨科技進步而產(chǎn)生的免費的副產(chǎn)品。大數(shù)據(jù)時代，我們可以通過去量化過去不能量化的信息，使用精妙的統(tǒng)計學方法分析這些信息成為可能。

”，但很多人其實并不理解大數(shù)據(jù)真正價值是什么，哈佛大學GaryKing教授用3個大數(shù)據(jù)研究案例告訴你：有數(shù)據(jù)固然好，但是如果沒有分析，數(shù)據(jù)的價值就沒法體現(xiàn)。

以下是Gary King教授演講實錄（有刪節(jié)）：

工作的領(lǐng)域叫做量化社會科學（QuantitativeSocialScience），有時，它有一個別稱，叫大數(shù)據(jù)。“大數(shù)據(jù)”這個詞最早是媒體發(fā)現(xiàn)的，它試圖向大眾解釋我們是做什么的，目前看來解釋的效果還不錯。

然而，大數(shù)據(jù)的價值不是在數(shù)據(jù)本身，雖然我們需要數(shù)據(jù)，數(shù)據(jù)很多時候只是伴隨科技進步而產(chǎn)生的免費的副產(chǎn)品。比如說，學校為了讓學生能更高效地注冊而引進了注冊系統(tǒng)，因而有了學生的很多信息，這些都是因為技術(shù)改進而產(chǎn)生的數(shù)據(jù)增量。

大數(shù)據(jù)的真正價值在于

。數(shù)據(jù)是為了某種目的存在，目的可以變，我們可以通過數(shù)據(jù)來了解完全不同的東西……有數(shù)據(jù)固然好，但是如果沒有分析，數(shù)據(jù)的價值就沒法體現(xiàn)。

先來看一個大數(shù)據(jù)在公共政策層面運用的案例。

我們曾經(jīng)做過一個評估研究，發(fā)現(xiàn)2000年以后美國社會保障管理總署（U.S.Social Security Administration，簡稱“SSA”）對于美國社保賬戶及人口壽命的預測有系統(tǒng)性偏差。

（圖片說明：2000年以后SSA對社?；鹳~戶情況的預測出現(xiàn)顯著偏差；來源：GaryKing論文）

大背景是，美國的社會保障平臺是美國最大的單一政府平臺，它的資金是跨代流動的——當前退休者的養(yǎng)老金供給來自于他們的下一代，即現(xiàn)在工作的人交的稅金。

所以SSA需要預測這個信托基金項目里的資金流，以及人的壽命，正確預測這兩點很重要，如果人們比SSA預期的更長壽——雖然這是好事——就很可能導致信托基金里就沒有足夠的錢給他們養(yǎng)老了。

我們研究發(fā)現(xiàn)，SSA的預測在2000年以后出現(xiàn)了系統(tǒng)性偏差——發(fā)生偏差的原因之一，是SSA使用的模型本質(zhì)上定性分析的模型，且多年來幾乎沒有調(diào)整。由于一些藥物的使用和癌癥早期發(fā)現(xiàn)，美國人開始比模型預測地更長壽了。

我們通過分析得出的結(jié)論是，美國社保信托基金至少存在8千億美元的缺口。

雖然結(jié)論有點不幸，但是政府需要提前知道。這樣政府就可以有空間在稅率，退休年齡等方面進行調(diào)整。這是公共政策層面的話題。

關(guān)于定性分析和定量分析，其實不是涇渭分明的。做分析全靠定性分析（由人主導）是不夠的，因為你有很多數(shù)據(jù)不知道該怎么處理。全靠定量分析（由機器主導）也不行，這就像一張巨大的excel表，但是表中沒有行、列的標簽。所以，大數(shù)據(jù)分析需要的是由人主導，由計算機輔助的技術(shù)（weneedcomputer-assisted,human-ledtechnology）。

我們還做過一個計算機輔助閱讀的實驗。我們開發(fā)了一套計算機輔助、自動化閱讀的技術(shù)，這項技術(shù)能幫助人們從非結(jié)構(gòu)化的文字中提取、組織并且處理大量信息。

我們曾用該技術(shù)處理了64000篇國會議員官方發(fā)布的新聞稿，想通過這項基礎(chǔ)幫我們作分類，看國會議員在新聞稿中都說了些什么。

結(jié)果我們發(fā)現(xiàn)，居然有高達27%的議員發(fā)布的新聞稿內(nèi)容只是單純地想抨擊對方（PartisanTaunting），而不是想要平衡預算或停止戰(zhàn)爭，或解決問題。

（圖片說明：GaryKing表示，抨擊對方政黨從個人角度來看是理性的，但是從整個集群的角度來看，是非理性的，如果抨擊對方的言語增多，政黨之間的合作關(guān)系和能效會減弱；來源：GaryKing研究成果單頁）

大數(shù)據(jù)時代，我們可以通過去量化過去不能量化的信息，使用精妙的統(tǒng)計學方法分析這些信息成為可能。

現(xiàn)在，我們都可以對一些強定性屬性（inherentlyqualitative）的東西作定量分析了，如音頻和視頻。但是，目前仍有一些定性分析工作者要分析的內(nèi)容還未被量化。所以，定性分析、定量分析要配合操作才行。