大數(shù)據(jù)，重要的不是數(shù)據(jù)

“滿城盡談大數(shù)據(jù)”，但很多人其實(shí)并不理解大數(shù)據(jù)真正價(jià)值是什么，哈佛大學(xué)Gary King教授用3個(gè)大數(shù)據(jù)研究案例告訴你：有數(shù)據(jù)固然好，但是如果沒(méi)有分析，數(shù)據(jù)的價(jià)值就沒(méi)法體現(xiàn)。

2017年伊始，哈佛大學(xué)政治學(xué)系教授加里·金(Gary King)在上海交通大學(xué)舉辦了一場(chǎng)名為《大數(shù)據(jù)，重要的不是數(shù)據(jù)》(Big Data is Not About the Data)的講座。

DT君先來(lái)介紹一下主講人：Gary King是哈佛大學(xué)的校級(jí)教授(University Professor)。King教授以實(shí)證研究知名，擅長(zhǎng)量化研究，其研究涉及政治學(xué)、公共政策、法學(xué)、心理學(xué)和統(tǒng)計(jì)學(xué)等領(lǐng)域。

以下是Gary King 教授演講實(shí)錄(有刪節(jié))：

我工作的領(lǐng)域叫做量化社會(huì)科學(xué)(Quantitative Social Science)，有時(shí)，它有一個(gè)別稱，叫大數(shù)據(jù)。“大數(shù)據(jù)”這個(gè)詞最早是媒體發(fā)現(xiàn)的，它試圖向大眾解釋我們是做什么的，目前看來(lái)解釋的效果還不錯(cuò)。

然而，大數(shù)據(jù)的價(jià)值不是在數(shù)據(jù)本身，雖然我們需要數(shù)據(jù)，數(shù)據(jù)很多時(shí)候只是伴隨科技進(jìn)步而產(chǎn)生的免費(fèi)的副產(chǎn)品。比如說(shuō)，學(xué)校為了讓學(xué)生能更高效地注冊(cè)而引進(jìn)了注冊(cè)系統(tǒng)，因而有了學(xué)生的很多信息，這些都是因?yàn)榧夹g(shù)改進(jìn)而產(chǎn)生的數(shù)據(jù)增量。

大數(shù)據(jù)的真正價(jià)值在于數(shù)據(jù)分析。數(shù)據(jù)是為了某種目的存在，目的可以變，我們可以通過(guò)數(shù)據(jù)來(lái)了解完全不同的東西……有數(shù)據(jù)固然好，但是如果沒(méi)有分析，數(shù)據(jù)的價(jià)值就沒(méi)法體現(xiàn)。

先來(lái)看一個(gè)大數(shù)據(jù)在公共政策層面運(yùn)用的案例。

我們?cè)?jīng)做過(guò)一個(gè)評(píng)估研究，發(fā)現(xiàn)2000年以后美國(guó)社會(huì)保障管理總署(U.S. Social Security Administration，簡(jiǎn)稱“SSA”)對(duì)于美國(guó)社保賬戶及人口壽命的預(yù)測(cè)有系統(tǒng)性偏差。

2000年以后SSA對(duì)社?；鹳~戶情況的預(yù)測(cè)出現(xiàn)顯著偏差

來(lái)源：Gary King論文

大背景是，美國(guó)的社會(huì)保障平臺(tái)是美國(guó)最大的單一政府平臺(tái)，它的資金是跨代流動(dòng)的——當(dāng)前退休者的養(yǎng)老金供給來(lái)自于他們的下一代，即現(xiàn)在工作的人交的稅金。

所以SSA需要預(yù)測(cè)這個(gè)信托基金項(xiàng)目里的資金流，以及人的壽命，正確預(yù)測(cè)這兩點(diǎn)很重要，如果人們比SSA預(yù)期的更長(zhǎng)壽——雖然這是好事——就很可能導(dǎo)致信托基金里就沒(méi)有足夠的錢給他們養(yǎng)老了。

我們研究發(fā)現(xiàn)，SSA的預(yù)測(cè)在2000年以后出現(xiàn)了系統(tǒng)性偏差——發(fā)生偏差的原因之一，是SSA使用的模型本質(zhì)上定性分析的模型，且多年來(lái)幾乎沒(méi)有調(diào)整。由于一些藥物的使用和癌癥早期發(fā)現(xiàn)，美國(guó)人開(kāi)始比模型預(yù)測(cè)地更長(zhǎng)壽了。

我們通過(guò)分析得出的結(jié)論是，美國(guó)社保信托基金至少存在8千億美元的缺口。

雖然結(jié)論有點(diǎn)不幸，但是政府需要提前知道。這樣政府就可以有空間在稅率，退休年齡等方面進(jìn)行調(diào)整。這是公共政策層面的話題。

關(guān)于定性分析和定量分析，其實(shí)不是涇渭分明的。做分析全靠定性分析(由人主導(dǎo))是不夠的，因?yàn)槟阌泻芏鄶?shù)據(jù)不知道該怎么處理。 全靠定量分析(由機(jī)器主導(dǎo))也不行，這就像一張巨大的excel表，但是表中沒(méi)有行、列的標(biāo)簽。所以，大數(shù)據(jù)分析需要的是由人主導(dǎo)，由計(jì)算機(jī)輔助的技術(shù)(we need computer-assisted, human-led technology)。

我們還做過(guò)一個(gè)計(jì)算機(jī)輔助閱讀的實(shí)驗(yàn)。我們開(kāi)發(fā)了一套計(jì)算機(jī)輔助、自動(dòng)化閱讀的技術(shù)，這項(xiàng)技術(shù)能幫助人們從非結(jié)構(gòu)化的文字中提取、組織并且處理大量信息。

我們?cè)迷摷夹g(shù)處理了64000篇國(guó)會(huì)議員官方發(fā)布的新聞稿，想通過(guò)這項(xiàng)基礎(chǔ)幫我們作分類，看國(guó)會(huì)議員在新聞稿中都說(shuō)了些什么。

結(jié)果我們發(fā)現(xiàn)，居然有高達(dá)27%的議員發(fā)布的新聞稿內(nèi)容只是單純地想抨擊對(duì)方(Partisan Taunting)，而不是想要平衡預(yù)算或停止戰(zhàn)爭(zhēng)，或解決問(wèn)題。

(圖片說(shuō)明：Gary King表示，抨擊對(duì)方政黨從個(gè)人角度來(lái)看是理性的，但是從整個(gè)集群的角度來(lái)看，是非理性的，如果抨擊對(duì)方的言語(yǔ)增多，政黨之間的合作關(guān)系和能效會(huì)減弱;來(lái)源：Gary King研究成果單頁(yè) )

大數(shù)據(jù)時(shí)代，我們可以通過(guò)去量化過(guò)去不能量化的信息，使用精妙的統(tǒng)計(jì)學(xué)方法分析這些信息成為可能。

現(xiàn)在，我們都可以對(duì)一些強(qiáng)定性屬性(inherently qualitative)的東西作定量分析了，如音頻和視頻。但是，目前仍有一些定性分析工作者要分析的內(nèi)容還未被量化。所以，定性分析、定量分析要配合操作才行。

我參與過(guò)一個(gè)產(chǎn)品項(xiàng)目叫做Perusall。“Peruse”是仔細(xì)精讀的意思，Perusall就是peruse + all，可以簡(jiǎn)單理解為大家一起讀。

這個(gè)產(chǎn)品產(chǎn)生的背景是，大學(xué)教授會(huì)給同學(xué)布置閱讀作業(yè)，但是教授很難評(píng)估學(xué)生是否閱讀了規(guī)定的章節(jié)。如果有的學(xué)生沒(méi)讀而有的學(xué)生讀了，這對(duì)整體課堂的授課效果會(huì)有影響。

Perusall的好處之一，是它把閱讀從一個(gè)個(gè)體活動(dòng)變成了一個(gè)集體活動(dòng)。閱讀文章的同學(xué)可以對(duì)自己看不懂的部分做批注，也可以對(duì)其他同學(xué)的批注作回復(fù)解答。這樣更容易調(diào)動(dòng)同學(xué)閱讀的主動(dòng)積極性，讓閱讀變得更有趣。人天生是社會(huì)動(dòng)物，這也是為什么人們相比于在iTunes里聽(tīng)歌更愿意花錢去看演唱會(huì)，雖然前者音樂(lè)聲音更清晰。

(圖片說(shuō)明：“學(xué)生困惑報(bào)告”樣本;來(lái)源：哈佛官網(wǎng) )

一旦學(xué)生用Perusall在線上閱讀之后，我們就有了很多之前不可能互獲取的數(shù)據(jù)：知道學(xué)生在讀什么，他們對(duì)閱讀內(nèi)容的反饋怎樣，他們?cè)谧x每一頁(yè)的時(shí)候花多少時(shí)間;當(dāng)然，如果你沒(méi)有讀書(shū)的第46-47頁(yè)，我們也會(huì)知道這個(gè)。

一方面，Perusall會(huì)基于每個(gè)學(xué)生的閱讀情況和評(píng)價(jià)質(zhì)量，對(duì)學(xué)生的這項(xiàng)閱讀作業(yè)進(jìn)行打分，從老師的層面看，這省去了原先閱讀作業(yè)不易評(píng)估的問(wèn)題。

另一方面，Perusall會(huì)分析這些閱讀數(shù)據(jù)，知道學(xué)生們讀到哪里時(shí)覺(jué)得困惑。

Perusall可以在老師上課前生成一個(gè)“學(xué)生困惑報(bào)告”(Students confusion report)。拿到這份報(bào)告，我就可以在一走進(jìn)課堂時(shí)說(shuō)，“根據(jù)你們的閱讀情況，你們可能有以下三個(gè)問(wèn)題。”