實(shí)現(xiàn)大數(shù)據(jù)，從小樣本中篩選海量樣本

從小樣本到大數(shù)據(jù)：概念與誤區(qū)

最近兩年產(chǎn)生并記錄的數(shù)據(jù)，總量占到人類文明以來所有數(shù)據(jù)總和的90%。我們?cè)丛床粩嘤涗浿磺杏袃r(jià)值的信息，世界和萬物的變化數(shù)據(jù)變成一座“自動(dòng)生長"的金礦，數(shù)據(jù)分析師和數(shù)據(jù)挖掘技術(shù)則負(fù)責(zé)從礦山中挖出金子。

“大數(shù)據(jù)”這個(gè)詞早期是IBM和EMC鼓吹的一種商業(yè)概念，自誕生之日就有概念包裝的商業(yè)基因。明白這一道理就不會(huì)過分糾結(jié)“到底什么是大數(shù)據(jù)”，“多大數(shù)據(jù)算大數(shù)據(jù)”之類的問題。這一概念包含了我們?cè)诿鎸?duì)海量數(shù)據(jù)環(huán)境下的哲學(xué)迷思、技術(shù)困境、解決方案和由此引發(fā)的商業(yè)機(jī)會(huì)。

探討大數(shù)據(jù)問題前我們先回顧另一個(gè)數(shù)據(jù)界的經(jīng)典問題——小樣本問題。小樣本的“小"表面指的是數(shù)據(jù)樣本少，本質(zhì)則是說現(xiàn)存樣本對(duì)特征空間的刻畫能力不足。

“過擬合”問題是小數(shù)據(jù)時(shí)代的核心問題之一，也成就了vapnik這樣的理論巨匠及svm算法。大數(shù)據(jù)，其顯性特征是超出一般算法或一般硬件計(jì)算處理能力的“大”規(guī)模數(shù)據(jù);其伴隨的另一個(gè)特征，就是擁有足以刻畫樣本特征空間以外的"超額"樣本。前者顯性特征推動(dòng)了并行/云計(jì)算的軟硬件發(fā)展，后者則從商業(yè)模式和數(shù)據(jù)分析的方法論層面推動(dòng)了行業(yè)變化。

怎么理解這些"超額的樣本"帶給我們的價(jià)值呢?顯然，通過數(shù)據(jù)刻畫對(duì)象的全局特征，獲得全體統(tǒng)計(jì)規(guī)律及關(guān)聯(lián)規(guī)則并不需要這些“超額的樣本”，因此才有“大數(shù)據(jù)是不是越多越好”，“大數(shù)據(jù)是否需要抽樣”這樣的辯論，這是在大數(shù)據(jù)時(shí)代之前關(guān)心的問題。可以說，糾結(jié)于這些問題的人還未觸及大數(shù)據(jù)的核心價(jià)值。歸納一下就是：大數(shù)據(jù)時(shí)代之前，我們處理的是小樣本或適度抽樣后的小數(shù)據(jù)進(jìn)行群體規(guī)律的知識(shí)發(fā)現(xiàn)(KDD);在大數(shù)據(jù)時(shí)代，我們依賴從小樣本挖掘出的或原本就已知的經(jīng)驗(yàn)規(guī)則，通過搜索海量樣本數(shù)據(jù)發(fā)現(xiàn)目標(biāo)個(gè)體來兌現(xiàn)商業(yè)價(jià)值。

從理論到價(jià)值：政府應(yīng)用實(shí)例

大數(shù)據(jù)在何處?這些擁有富礦的金主包括：工業(yè)、金融、通信、科研機(jī)構(gòu)、互聯(lián)網(wǎng)企業(yè)等。除此之外，還有一個(gè)超級(jí)礦山擁有者——政府。以美國為例，在公開的美國政府網(wǎng)站Data.gov上，大約有超過40萬各種原始數(shù)據(jù)文件，涵蓋農(nóng)業(yè)、金融、就業(yè)等近50個(gè)分類。美國官方稱這么做的目的是“方便公眾更便捷地獲得聯(lián)邦政府?dāng)?shù)據(jù)，并通過鼓勵(lì)創(chuàng)新突破政府的圍墻而創(chuàng)造性地使用這些數(shù)據(jù)”。同時(shí)，各行業(yè)大數(shù)據(jù)又通過數(shù)據(jù)分析師的分析結(jié)果能極大改進(jìn)政府的決策行為。

近些年大數(shù)據(jù)對(duì)國家及政府領(lǐng)域的應(yīng)用案例開始涌現(xiàn)：

1.情感測(cè)量及幸福指數(shù)

2008年，法國總統(tǒng)薩科齊組建了一個(gè)專家組，成員包括以諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者約瑟夫·斯蒂格里茨和阿馬蒂亞·森在內(nèi)的20多名世界知名專家，進(jìn)行了一項(xiàng)名為“幸福與測(cè)度經(jīng)濟(jì)進(jìn)步”(Happiness and Measuring Economic Progress)的研究。該項(xiàng)研究將國民主觀幸福感納入衡量經(jīng)濟(jì)表現(xiàn)的指標(biāo)，以主觀幸福程度、生活質(zhì)量及收入分配等指標(biāo)來衡量經(jīng)濟(jì)發(fā)展。

佛蒙特大學(xué)計(jì)算實(shí)驗(yàn)室的項(xiàng)目Hedonometer

(1)2011年：幸福度來自旅行的遠(yuǎn)度

佛蒙特大學(xué)的克里斯多夫·丹佛斯主持研究了幸福度與地理位置的關(guān)系，他們?cè)?011年從從Twitter上篩選帶有博主地理位置的Tweet。全世界逾18萬用戶發(fā)布的3700萬條tweet中，約1%的微博含有這類經(jīng)緯度信息。

研究發(fā)現(xiàn)，人們通常會(huì)有兩個(gè)最常去的地方，且這兩個(gè)地方相距不遠(yuǎn)，應(yīng)該就是家和工作地。為了評(píng)估博主的幸福額度，佛蒙特大學(xué)的研究小組研制了一種“幸福測(cè)試儀”(hedonometer)：這種測(cè)試儀能檢測(cè)出文本中表示積極、快樂情緒的詞匯(比如，“新鮮的”、“極好的”、“咖啡”和“午餐”)以及表示消極情緒的詞匯(比如，“沒有”、“不”、“討厭”、“該死的”、“無聊的”)。幸福測(cè)試儀會(huì)以此為根據(jù)評(píng)出每一條微博的幸福指數(shù)。研究團(tuán)隊(duì)發(fā)現(xiàn)，離家越遠(yuǎn)，人們所發(fā)微博中含有的開心詞匯就越多。

(2)2011年：人們沒有以前快樂

2011 12月21日消息，美國佛蒙特大學(xué)學(xué)者對(duì)Twitter上的用詞進(jìn)行分析后，最終得出“人們沒有以前快樂”的結(jié)論。研究稱，自2009年4月以來，人們的幸福感總體呈下行趨勢(shì)。該研究報(bào)告的主要作者、佛蒙特大學(xué)的應(yīng)用數(shù)學(xué)家Peter Dodds表示，“人們的幸福感正在下降?！边@是多茲團(tuán)隊(duì)對(duì)6300萬Twitter用戶所發(fā)tweet時(shí)用的460億個(gè)單詞分析得出的結(jié)論。

(3)2013年：周六幸福度最高

佛蒙特大學(xué)計(jì)算實(shí)驗(yàn)室的Hedonometer項(xiàng)目組發(fā)布了一份推特情感分析報(bào)告。這個(gè)項(xiàng)目通過自然語言處理，對(duì)過去五年中每天發(fā)布的千萬條微博進(jìn)行情感分析，尋找一些反映正面情緒或者負(fù)面情緒的關(guān)鍵詞，并將其結(jié)果記錄了下來。每一年的幸福度最高點(diǎn)都是在12月25號(hào)圣誕節(jié)，其它幸福度高的日子包括元旦、感恩節(jié)、情人節(jié)等;從每周來看，人們平均幸福度最高的一天是星期六，而最低的一天是星期二。

2.聯(lián)合國全球脈動(dòng)(global pulse)項(xiàng)目

《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》白皮書項(xiàng)目

隨著大數(shù)據(jù)發(fā)展戰(zhàn)得到全球各國高度重視，聯(lián)合國秘書長執(zhí)行辦公室于2009 年正式啟動(dòng)了“全球脈動(dòng)”(Global Pulse)倡議項(xiàng)目，旨在推動(dòng)數(shù)字?jǐn)?shù)據(jù)和快速數(shù)據(jù)收集和分析方式的創(chuàng)新。作為該項(xiàng)目的研究成果，由“全球脈動(dòng)”資深發(fā)展經(jīng)濟(jì)學(xué)家艾瑪紐爾·勒?qǐng)D(Emmanuel Letouzé)牽頭撰寫的《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》報(bào)告于2012 年5 月發(fā)布。該報(bào)告全面分析了各國特別是發(fā)展中國家在運(yùn)用大數(shù)據(jù)促進(jìn)社會(huì)發(fā)展方面所面臨的歷史機(jī)遇和挑戰(zhàn)，并系統(tǒng)給出了在應(yīng)用過程中正確運(yùn)用大數(shù)據(jù)的策略建議。

與聯(lián)合國對(duì)大數(shù)據(jù)價(jià)值的判斷相呼應(yīng)，倫敦智庫政策交易所也宣布大數(shù)據(jù)每年能為英國政府節(jié)省330億英鎊。聯(lián)合國的報(bào)告解釋了大數(shù)據(jù)如何幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)指標(biāo)變化，例如收入、失業(yè)、食品價(jià)格等。聯(lián)合國指出大數(shù)據(jù)時(shí)代已經(jīng)到來，人們?nèi)缃窨梢允褂玫臉O大豐富的數(shù)據(jù)資源，包括舊數(shù)據(jù)和新數(shù)據(jù)，來對(duì)社會(huì)人口進(jìn)行前所未有的實(shí)時(shí)分析。數(shù)據(jù)分析師培訓(xùn)