大數(shù)據(jù)是互聯(lián)網(wǎng)時(shí)代的重要資源

在這個(gè)互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)分析時(shí)代，大數(shù)據(jù)（Big Data，BD）是構(gòu)成信息化世界的基本元素，組成了互聯(lián)網(wǎng)上紛繁龐雜的知識和數(shù)據(jù)資源。數(shù)據(jù)分析師通過合理的挖掘工具進(jìn)行分析處理，可以形成國家、企業(yè)、機(jī)構(gòu)管理運(yùn)營的策略指南，可以是科研中的離子對撞機(jī)每秒運(yùn)行產(chǎn)生的量子世界，也可以是有效避免和防范自然災(zāi)害的預(yù)警機(jī)制，還可以是反對恐怖主義的有力武器……

　　一、大數(shù)據(jù)概念的起源

　　1980年，未來學(xué)家阿爾文托夫勒將大數(shù)據(jù)稱作“第三次浪潮的華彩樂章”；

　　2005年，Hadoop項(xiàng)目誕生，從技術(shù)層面上搭建了一個(gè)使對結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)快速、可靠分析變?yōu)楝F(xiàn)實(shí)的平臺；

　　2008年起，“大數(shù)據(jù)”成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的高頻詞匯；

　　2011年，IBM的沃森超級計(jì)算機(jī)每秒可掃描并分析4TB的數(shù)據(jù)量；同年，麥肯錫第一次全方面地介紹和展望大數(shù)據(jù)；

　　2012年，美國軟件公司Splunk成為第一家上市的大數(shù)據(jù)處理公司；

　　2014年，世界經(jīng)濟(jì)論壇以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”為主題發(fā)布了《全球信息技術(shù)報(bào)告（第13版）》……

　　大數(shù)據(jù)從哪里來？大體可以簡單概括成以下幾類：第一，物質(zhì)世界本身數(shù)字化產(chǎn)生的大數(shù)據(jù)。例如一些醫(yī)療服務(wù)類網(wǎng)站，將醫(yī)生信息、門診信息等現(xiàn)實(shí)事物數(shù)字化，形成了大量網(wǎng)絡(luò)數(shù)據(jù)。第二，互聯(lián)網(wǎng)交流不斷產(chǎn)生的大數(shù)據(jù)。大量移動(dòng)電子終端設(shè)備的出現(xiàn)，更加快了互聯(lián)網(wǎng)信息制造的速度。第三，各種數(shù)據(jù)的積累、沉淀、及保存產(chǎn)生大數(shù)據(jù)。隨著科技進(jìn)步，時(shí)代變化，高性能存儲設(shè)備日益發(fā)展普及，使越來越多的數(shù)據(jù)得以持續(xù)保存，形成越發(fā)龐大的數(shù)據(jù)集。

　　二、大數(shù)據(jù)究竟指什么？

　　大數(shù)據(jù)，顧名思義，海量數(shù)據(jù)或巨量數(shù)據(jù)。數(shù)據(jù)分析師.不同機(jī)構(gòu)有不同的定義，基本上大同小異：Gartner公司認(rèn)為“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)”；麥肯錫全球研究所認(rèn)為，大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。

　　大數(shù)據(jù)有四個(gè)特點(diǎn)：第一，數(shù)據(jù)體量巨大?？梢苑Q之為海量或天量；第二，數(shù)據(jù)類型繁多。涉及到人類生活方方面面所產(chǎn)生的數(shù)據(jù)源；第三，處理速度快。瞬間可從各類數(shù)據(jù)中快速獲得高價(jià)值的信息；第四，數(shù)據(jù)動(dòng)態(tài)變化。不斷有新數(shù)據(jù)增加，數(shù)據(jù)分析師.采用合理的數(shù)據(jù)模型和分析處理方法，將會帶來很高的經(jīng)濟(jì)和社會效益。

　　究竟大到多少才算是大數(shù)據(jù)？從數(shù)字上說，到2012年，互聯(lián)網(wǎng)數(shù)據(jù)量已經(jīng)從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）級別。據(jù)估計(jì)，到2020年，全球數(shù)據(jù)量將達(dá)到2015年的44倍，增長速度超過摩爾定律。

　　根據(jù)維基百科的定義，大數(shù)據(jù)的大小從TB到PB級別不等。然而，到目前為止，尚未有一個(gè)公認(rèn)的標(biāo)準(zhǔn)來界定“大數(shù)據(jù)”的大小，其數(shù)據(jù)價(jià)值才是大數(shù)據(jù)的存在意義。換句話說，“大”只是大數(shù)據(jù)的一個(gè)表示容量的特征，并非全部含義。

　　三、大數(shù)據(jù)的意義與應(yīng)用

　　剛剛過去的十一月，本人有幸當(dāng)面請教數(shù)據(jù)庫創(chuàng)始人、圖靈獎(jiǎng)得主Micheal Stonebraker，他認(rèn)為，大數(shù)據(jù)這個(gè)詞事實(shí)上是一些做營銷的人發(fā)明的。提到意義、提到價(jià)值，首先就要將大數(shù)據(jù)聯(lián)系到企業(yè)組織與管理方面，對大數(shù)據(jù)的合理解析可以幫助他們降本增效、做出更明智的市場決策，可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷與投資規(guī)劃等等。

　　大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)挖掘分析，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn)，大數(shù)據(jù)與云計(jì)算密不可分。大數(shù)據(jù)需要結(jié)合新的處理模式才能產(chǎn)生具有更強(qiáng)的決策力、 流程優(yōu)化能力等多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于掌握對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理的技術(shù)。

　　如果將“大數(shù)據(jù)”在經(jīng)濟(jì)發(fā)展中的意義當(dāng)作其全部價(jià)值，那確實(shí)有些坐井觀天，違背大數(shù)據(jù)的內(nèi)涵本身了。大數(shù)據(jù)在當(dāng)前為人們發(fā)掘利用，對社會、軍事、生活等眾多領(lǐng)域所產(chǎn)生的影響既具有廣度又具有深度。例如：許多國家政府機(jī)構(gòu)建立了用于身份管理的生物識別數(shù)據(jù)庫；美國政府通過啟動(dòng)Data.gov網(wǎng) 站的方式進(jìn)一步開放了政府?dāng)?shù)據(jù)的大門；歐洲一些領(lǐng)先的研究型圖書館和科技信息研究機(jī)構(gòu)致力于改善在互聯(lián)網(wǎng)上獲取科學(xué)數(shù)據(jù)的方便性等等。不難看出，大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程度地滲透到各個(gè)行業(yè)領(lǐng)域和部門，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營活動(dòng)，還有利于推動(dòng)國民經(jīng)濟(jì)發(fā)展，可以說，大數(shù)據(jù)是一種反 映社會競爭力的軟實(shí)力，是一種無形的資產(chǎn)，是一件隱形的武器，蘊(yùn)含著很多占領(lǐng)先機(jī)的優(yōu)勢。

　　大數(shù)據(jù)的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，它必須依托互聯(lián)網(wǎng)的云服務(wù)進(jìn)行分布式處理、分布式數(shù)據(jù)庫和云存儲等。如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵是提高對海量數(shù)據(jù)的“加工能力”。簡單地說，大數(shù)據(jù)技術(shù)就是從各種各樣類型的數(shù)據(jù)海洋中，快速獲得有價(jià)值信息的能力。cda數(shù)據(jù)分析師培訓(xùn)