大數(shù)據(jù)技術(shù)的發(fā)展歷程及其演化趨勢_數(shù)據(jù)分析師

最早提出詞匯“Big Data”的是2011年麥肯錫全球研究院發(fā)布的《大數(shù)據(jù)：下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》研究報告。之后，經(jīng)Gartner技術(shù)炒作曲線和2012年維克托·舍恩伯格《大數(shù)據(jù)時代：生活、工作與思維的大變革》的宣傳推廣，大數(shù)據(jù)概念開始風(fēng)靡全球。

　　基于Web of Science數(shù)據(jù)庫中1994年后涉及大數(shù)據(jù)概念的4495篇文獻(xiàn)，采用Citespace知識圖譜工具，通過熱點(diǎn)關(guān)鍵詞和高被引文獻(xiàn)分析，能夠勾勒出大數(shù)據(jù)技術(shù)從萌芽到成熟的發(fā)展歷程。

　　上世紀(jì)90年代至本世紀(jì)初，是大數(shù)據(jù)發(fā)展的萌芽期，處于數(shù)據(jù)挖掘技術(shù)階段。隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫技術(shù)的逐步成熟，一批商業(yè)智能工具和知識管理技術(shù)開始被應(yīng)用，如數(shù)據(jù)倉庫、專家系統(tǒng)、知識管理系統(tǒng)等。此時，對于大數(shù)據(jù)的研究主要集中于“Algorithms”（算法）、“Model”（模型）、“Patterns”（模式）、“Identification”（識別）等熱點(diǎn)關(guān)鍵詞。

　　大數(shù)據(jù)發(fā)展的突破期是2003至2006年，處于圍繞非結(jié)構(gòu)化數(shù)據(jù)自由探索階段。非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)帶動大數(shù)據(jù)技術(shù)的快速突破，以2004年Facebook創(chuàng)立為標(biāo)志，社交網(wǎng)絡(luò)的流行直接導(dǎo)致大量非結(jié)構(gòu)化數(shù)據(jù)的涌現(xiàn)，而傳統(tǒng)處理方法難以應(yīng)對。此時的熱點(diǎn)關(guān)鍵詞較為分散，包括了“Systems”（系統(tǒng)）、“Networks”（網(wǎng)絡(luò)）、“Evolution”（演化）等，高被引文獻(xiàn)也很少，說明學(xué)術(shù)界、企業(yè)界正從多角度對數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)庫架構(gòu)進(jìn)行重新思考，且尚未形成共識。

　　2006至2009年，大數(shù)據(jù)技術(shù)形成并行運(yùn)算與分布式系統(tǒng)，為大數(shù)據(jù)發(fā)展的成熟期。Jeff Dean在BigTable基礎(chǔ)上開發(fā)了Spanner數(shù)據(jù)庫（2009）。此階段，大數(shù)據(jù)研究的熱點(diǎn)關(guān)鍵詞再次趨于集中，聚焦“Performance”（性能）、“CloudComputing”（云計算）、“MapReduce”（大規(guī)模數(shù)據(jù)集并行運(yùn)算算法）、“Hadoop”（開源分布式系統(tǒng)基礎(chǔ)架構(gòu)）等。

　　2010年以來，隨著智能手機(jī)的應(yīng)用日益廣泛，數(shù)據(jù)的碎片化、分布式、流媒體特征更加明顯，移動數(shù)據(jù)急劇增長。

　　近年來大數(shù)據(jù)不斷地向社會各行各業(yè)滲透，使得大數(shù)據(jù)的技術(shù)領(lǐng)域和行業(yè)邊界愈來愈模糊和變動不居，應(yīng)用創(chuàng)新已超越技術(shù)本身更受到青睞。大數(shù)據(jù)技術(shù)可以為每一個領(lǐng)域帶來變革性影響，并且正在成為各行各業(yè)顛覆性創(chuàng)新的原動力和助推器。

　　2013年5月，麥肯錫全球研究所（McKinsey Global Institute）發(fā)布了一份名為《顛覆性技術(shù)：技術(shù)進(jìn)步改變生活、商業(yè)和全球經(jīng)濟(jì)》的研究報告。報告確認(rèn)的未來12種新興技術(shù)，有望在2025年帶來14萬億至33萬億美元的經(jīng)濟(jì)效益。令人驚訝的是，最為熱門的大數(shù)據(jù)技術(shù)卻未被列入其中。麥肯錫專門解釋稱，大數(shù)據(jù)已成為這些可能改變世界格局的12項技術(shù)中許多技術(shù)的基石，包括移動互聯(lián)網(wǎng)、知識工作自動化、物聯(lián)網(wǎng)、云計算、先進(jìn)機(jī)器人、自動汽車、基因組學(xué)等都少不了大數(shù)據(jù)應(yīng)用。

　　2014年5月，美國白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書的研究報告《大數(shù)據(jù)：抓住機(jī)遇、守護(hù)價值》。報告鼓勵使用數(shù)據(jù)以推動社會進(jìn)步，特別是在市場與現(xiàn)有的機(jī)構(gòu)并未以其他方式來支持這種進(jìn)步的領(lǐng)域；同時，也需要相應(yīng)的框架、結(jié)構(gòu)與研究，來幫助保護(hù)美國人對于保護(hù)個人隱私、確保公平或是防止歧視的堅定信仰。2014年4月，世界經(jīng)濟(jì)論壇也以“大數(shù)據(jù)的回報與風(fēng)險”的相近主題發(fā)布了《全球信息技術(shù)報告（第13版）》。報告認(rèn)為，在未來幾年中針對各種信息通信技術(shù)的政策甚至?xí)@得更加重要。在接下來將對數(shù)據(jù)保密和網(wǎng)絡(luò)管制等議題展開積極討論。全球大數(shù)據(jù)產(chǎn)業(yè)的日趨活躍，技術(shù)演進(jìn)和應(yīng)用創(chuàng)新的加速發(fā)展，使各國政府逐漸認(rèn)識到大數(shù)據(jù)在推動經(jīng)濟(jì)發(fā)展、改善公共服務(wù)，增進(jìn)人民福祉，乃至保障國家安全方面的重大意義。