大數(shù)據(jù)：引發(fā)思想啟蒙

國際上，大數(shù)據(jù)還真是熱火朝天，各方都在積極行動。一方面，政府積極介入推動。2009年，聯(lián)合國啟動“全球脈動計劃”，借大數(shù)據(jù)推動落后地區(qū)發(fā)展。2012年1月，世界經(jīng)濟(jì)論壇年會把“大數(shù)據(jù)、大影響”作為重要議題。美國從開放政府?dāng)?shù)據(jù)、開展關(guān)鍵技術(shù)研究和推動大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國在開放政府上非常積極，通過Data.gov開放37萬個數(shù)據(jù)集，并開放網(wǎng)站的API和源代碼，提供上千個數(shù)據(jù)應(yīng)用。除了推動推動本國政府?dāng)?shù)據(jù)開放，美國倡導(dǎo)發(fā)起全球開放政府?dāng)?shù)據(jù)運動， 已有41個國家響應(yīng)。美國政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置，從國家層面推進(jìn)。
    另一方面，資本市場也對大數(shù)據(jù)鐘愛有加。2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)IPO，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera在E輪融資中獲得6500萬美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特？斯坦福說：“投資大數(shù)據(jù)及其運用回報率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購熱度也在上升，單筆平均并購金額方面，大數(shù)據(jù)超過云計算位居IT領(lǐng)域榜首，在總并購額上也位居第二。
    在各方力量的推動下，大數(shù)據(jù)科研和產(chǎn)品開發(fā)逐漸活躍起來。一個新概念的興起，最初往往會有人快速地“新瓶裝舊酒”。已經(jīng)存在好多年的商業(yè)智能、數(shù)據(jù)倉庫等技術(shù)被重新包裝，以大數(shù)據(jù)系統(tǒng)的面目出現(xiàn)在市場上。這也使人困惑：到底大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)分析技術(shù)有什么差別？可以說大數(shù)據(jù)最重要的特征是將數(shù)據(jù)處理的對象擴(kuò)展到互聯(lián)網(wǎng)級別（Internet Scale），技術(shù)上的進(jìn)展主要包括：1）單數(shù)據(jù)集達(dá)到PB級別；2）非結(jié)構(gòu)化占主流；3）幾天至數(shù)秒內(nèi)完成高速處理。技術(shù)形成了批處理、流處理和交互分析三種計算模式：離線批處理（Batch Processing）技術(shù)以MapReduce和Hadoop系統(tǒng)為代表，實時流處理（Stream Processing）技術(shù)以Yahoo的S4系統(tǒng)和Twitter的Storm系統(tǒng)為代表，交互式分析（Interactive Analysis）技術(shù)以谷歌的Dremel系統(tǒng)為代表。
   大數(shù)據(jù)的火爆，也帶動了國內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界和政府對大數(shù)據(jù)的熱情，但筆者覺得更大意義在于喚醒了人們對數(shù)據(jù)的重視。今年以來，中國計算機(jī)學(xué)會、中國通信學(xué)會先后成立了大數(shù)據(jù)委員會，研究大數(shù)據(jù)中的科學(xué)與工程問題，科技部的《中國云科技發(fā)展“十二五”專項規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項重點予以支持。這些舉措著眼長遠(yuǎn)，短期難以看到效果。但這種熱潮的確觸發(fā)了一場思想啟蒙運動，使得“大數(shù)據(jù)是資產(chǎn)，不是包袱”、“要拿數(shù)據(jù)說話”等觀念逐步深入人心，改變了以往不重視數(shù)據(jù)積累，不相信數(shù)據(jù)分析等認(rèn)識。有了這種思維模式的改變，大數(shù)據(jù)的應(yīng)用就有了希望。