大數(shù)據(jù)技術(shù)的發(fā)展歷程 及其演化趨勢(shì)_數(shù)據(jù)分析師

最早提出詞匯“Big Data”的是2011年麥肯錫全球研究院發(fā)布的《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》研究報(bào)告。之后，經(jīng)Gartner技術(shù)炒作曲線和2012年維克托·舍恩伯格《大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革》的宣傳推廣，大數(shù)據(jù)概念開(kāi)始風(fēng)靡全球。

    基于Web of Science數(shù)據(jù)庫(kù)中1994年后涉及大數(shù)據(jù)概念的4495篇文獻(xiàn)，采用Citespace知識(shí)圖譜工具，通過(guò)熱點(diǎn)關(guān)鍵詞和高被引文獻(xiàn)分析，能夠勾勒出大數(shù)據(jù)技術(shù)從萌芽到成熟的發(fā)展歷程。

    上世紀(jì)90年代至本世紀(jì)初，是大數(shù)據(jù)發(fā)展的萌芽期，處于數(shù)據(jù)挖掘技術(shù)階段。隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫(kù)技術(shù)的逐步成熟，一批商業(yè)智能工具和知識(shí)管理技術(shù)開(kāi)始被應(yīng)用，如數(shù)據(jù)倉(cāng)庫(kù)、專(zhuān)家系統(tǒng)、知識(shí)管理系統(tǒng)等。此時(shí)，對(duì)于大數(shù)據(jù)的研究主要集中于“Algorithms”（算法）、“Model”（模型）、“Patterns”（模式）、“Identification”（識(shí)別）等熱點(diǎn)關(guān)鍵詞。

    大數(shù)據(jù)發(fā)展的突破期是2003至2006年，處于圍繞非結(jié)構(gòu)化數(shù)據(jù)自由探索階段。非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)帶動(dòng)大數(shù)據(jù)技術(shù)的快速突破，以2004年Facebook創(chuàng)立為標(biāo)志，社交網(wǎng)絡(luò)的流行直接導(dǎo)致大量非結(jié)構(gòu)化數(shù)據(jù)的涌現(xiàn)，而傳統(tǒng)處理方法難以應(yīng)對(duì)。此時(shí)的熱點(diǎn)關(guān)鍵詞較為分散，包括了“Systems”（系統(tǒng)）、“Networks”（網(wǎng)絡(luò)）、“Evolution”（演化）等，高被引文獻(xiàn)也很少，說(shuō)明學(xué)術(shù)界、企業(yè)界正從多角度對(duì)數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)庫(kù)架構(gòu)進(jìn)行重新思考，且尚未形成共識(shí)。

    2006至2009年，大數(shù)據(jù)技術(shù)形成并行運(yùn)算與分布式系統(tǒng)，為大數(shù)據(jù)發(fā)展的成熟期。Jeff Dean在BigTable基礎(chǔ)上開(kāi)發(fā)了Spanner數(shù)據(jù)庫(kù)（2009）。此階段，大數(shù)據(jù)研究的熱點(diǎn)關(guān)鍵詞再次趨于集中，聚焦“Performance”（性能）、“CloudComputing”（云計(jì)算）、“MapReduce”（大規(guī)模數(shù)據(jù)集并行運(yùn)算算法）、“Hadoop”（開(kāi)源分布式系統(tǒng)基礎(chǔ)架構(gòu)）等。

    2010年以來(lái)，隨著智能手機(jī)的應(yīng)用日益廣泛，數(shù)據(jù)的碎片化、分布式、流媒體特征更加明顯，移動(dòng)數(shù)據(jù)急劇增長(zhǎng)。

    近年來(lái)大數(shù)據(jù)不斷地向社會(huì)各行各業(yè)滲透，使得大數(shù)據(jù)的技術(shù)領(lǐng)域和行業(yè)邊界愈來(lái)愈模糊和變動(dòng)不居，應(yīng)用創(chuàng)新已超越技術(shù)本身更受到青睞。大數(shù)據(jù)技術(shù)可以為每一個(gè)領(lǐng)域帶來(lái)變革性影響，并且正在成為各行各業(yè)顛覆性創(chuàng)新的原動(dòng)力和助推器。

    2013年5月，麥肯錫全球研究所（McKinsey Global Institute）發(fā)布了一份名為《顛覆性技術(shù)：技術(shù)進(jìn)步改變生活、商業(yè)和全球經(jīng)濟(jì)》的研究報(bào)告。報(bào)告確認(rèn)的未來(lái)12種新興技術(shù)，有望在2025年帶來(lái)14萬(wàn)億至33萬(wàn)億美元的經(jīng)濟(jì)效益。令人驚訝的是，最為熱門(mén)的大數(shù)據(jù)技術(shù)卻未被列入其中。麥肯錫專(zhuān)門(mén)解釋稱(chēng)，大數(shù)據(jù)已成為這些可能改變世界格局的12項(xiàng)技術(shù)中許多技術(shù)的基石，包括移動(dòng)互聯(lián)網(wǎng)、知識(shí)工作自動(dòng)化、物聯(lián)網(wǎng)、云計(jì)算、先進(jìn)機(jī)器人、自動(dòng)汽車(chē)、基因組學(xué)等都少不了大數(shù)據(jù)應(yīng)用。

    2014年5月，美國(guó)白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書(shū)的研究報(bào)告《大數(shù)據(jù)：抓住機(jī)遇、守護(hù)價(jià)值》。報(bào)告鼓勵(lì)使用數(shù)據(jù)以推動(dòng)社會(huì)進(jìn)步，特別是在市場(chǎng)與現(xiàn)有的機(jī)構(gòu)并未以其他方式來(lái)支持這種進(jìn)步的領(lǐng)域；同時(shí)，也需要相應(yīng)的框架、結(jié)構(gòu)與研究，來(lái)幫助保護(hù)美國(guó)人對(duì)于保護(hù)個(gè)人隱私、確保公平或是防止歧視的堅(jiān)定信仰。2014年4月，世界經(jīng)濟(jì)論壇也以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”的相近主題發(fā)布了《全球信息技術(shù)報(bào)告（第13版）》。報(bào)告認(rèn)為，在未來(lái)幾年中針對(duì)各種信息通信技術(shù)的政策甚至?xí)@得更加重要。在接下來(lái)將對(duì)數(shù)據(jù)保密和網(wǎng)絡(luò)管制等議題展開(kāi)積極討論。全球大數(shù)據(jù)產(chǎn)業(yè)的日趨活躍，技術(shù)演進(jìn)和應(yīng)用創(chuàng)新的加速發(fā)展，使各國(guó)政府逐漸認(rèn)識(shí)到大數(shù)據(jù)在推動(dòng)經(jīng)濟(jì)發(fā)展、改善公共服務(wù)，增進(jìn)人民福祉，乃至保障國(guó)家安全方面的重大意義。