帶您了解大數(shù)據(jù)

1980年,著名未來(lái)學(xué)家阿爾文-托夫勒便在《第三次浪潮》一書中,將大數(shù)據(jù)熱情地贊頌為‘第三次浪潮的華彩樂(lè)章’。大約從2009年開(kāi)始,‘大數(shù)據(jù)’成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。 　　

什么是大數(shù)據(jù) 　　　　

大數(shù)據(jù),或稱巨量數(shù)據(jù)、海量數(shù)據(jù);是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合,是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式,通過(guò)數(shù)據(jù)的集成共享,交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力。 　　

有研究機(jī)構(gòu)如此定義‘大數(shù)據(jù)’:‘大數(shù)據(jù)’是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。從某種程度上說(shuō),大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡(jiǎn)言之,從各種各樣類型的數(shù)據(jù)中,快速獲得有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù)。 　　大數(shù)據(jù)從何而來(lái) 　　

美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%,每?jī)赡瓯銓⒎环?目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外,全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器,隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化,也產(chǎn)生了海量的數(shù)據(jù)信息。 　　

物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及各種各樣的傳感器,無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。 　　

大數(shù)據(jù)有多大 　　

僅以互聯(lián)網(wǎng)為例,一天之中,互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD;發(fā)出的郵件有2940億封之多;發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè),相當(dāng)于《時(shí)代》雜志770年的文字量　　

截止到2012年,數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級(jí)別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級(jí)別。國(guó)際數(shù)據(jù)公司(IDC)的研究結(jié)果表明,2008年全球產(chǎn)生的數(shù)據(jù)量高達(dá)1.82ZB,相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止,人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB,全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱,整個(gè)人類文明所獲得的全部數(shù)據(jù)中,有90%是過(guò)去兩年內(nèi)產(chǎn)生的。而到了2020年,全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。 　　

大數(shù)據(jù)的‘4個(gè)V’　　

大數(shù)據(jù)的4個(gè)‘V’指的是大數(shù)據(jù)的4個(gè)特點(diǎn):第一,數(shù)據(jù)體量巨大。從TB級(jí)別,躍升到PB級(jí)別;第二,數(shù)據(jù)類型繁多,數(shù)據(jù)來(lái)源于各種各樣的渠道。第三,價(jià)值密度低,商業(yè)價(jià)值高。以視頻為例,連續(xù)不間斷監(jiān)控過(guò)程中,可能有用的數(shù)據(jù)僅僅有一兩秒。第四,處理速度快。一般要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果,時(shí)間太長(zhǎng)就失去價(jià)值了。這個(gè)速度要求是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。 　　

由此,業(yè)界將大數(shù)據(jù)的特點(diǎn)歸納為4個(gè)‘V’-Volume(大量)、Velocity(高速)、Variety(多樣)、Veracity(精確)。 　　

什么是云計(jì)算?

云計(jì)算(cloud　computing)是通過(guò)互聯(lián)網(wǎng)把多個(gè)成本較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng)。簡(jiǎn)單理解就是,運(yùn)營(yíng)公司提供服務(wù)器、應(yīng)用程序、存儲(chǔ)空間,用戶通過(guò)網(wǎng)絡(luò)遠(yuǎn)程登錄服務(wù)器,并按照需要使用這些存儲(chǔ)空間和應(yīng)用程序。狹義云計(jì)算是指IT基礎(chǔ)設(shè)施的交付和使用模式,指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源;廣義云計(jì)算指服務(wù)的交付和使用模式,指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通和交易。 　　

大數(shù)據(jù)與云計(jì)算

從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘,但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。 　　

數(shù)字時(shí)代的石油與黃金 　　

一分鐘內(nèi),微博推特上新發(fā)的數(shù)據(jù)量超過(guò)10萬(wàn);社交網(wǎng)絡(luò)‘臉譜’的瀏覽量超過(guò)600萬(wàn)　

巨大的數(shù)據(jù)量,意味著什么? 　　

大數(shù)據(jù)對(duì)社會(huì)經(jīng)濟(jì)生活產(chǎn)生的影響絕不限于技術(shù)層面,它為我們看待世界提供了一種全新的方法,即決策行為將日益基于數(shù)據(jù)分析做出,而不是像過(guò)去更多憑借經(jīng)驗(yàn)和直覺(jué)做出。 　　

‘這是一場(chǎng)革命,龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程,無(wú)論學(xué)術(shù)界、商界還是政府,所有領(lǐng)域都將開(kāi)始這種進(jìn)程?！鸫髮W(xué)社會(huì)學(xué)教授加里-金指出。 　　

業(yè)內(nèi)人士指出,大數(shù)據(jù)是一種全新的致富手段,它的價(jià)值堪比石油和黃金。 　　

雖然大數(shù)據(jù)在國(guó)內(nèi)還處于初級(jí)階段,但是商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來(lái)。首先,手中握有數(shù)據(jù)的公司站在金礦上,基于數(shù)據(jù)交易即可產(chǎn)生很好的效益;其次,基于數(shù)據(jù)挖掘會(huì)有很多商業(yè)模式誕生,定位角度不同,或側(cè)重?cái)?shù)據(jù)分析。比如幫企業(yè)做內(nèi)部數(shù)據(jù)挖掘,或側(cè)重優(yōu)化,幫企業(yè)更精準(zhǔn)找到用戶,降低營(yíng)銷成本,提高企業(yè)銷售率,增加利潤(rùn)。 　　

數(shù)據(jù)-未來(lái)最大的交易商品 　　

未來(lái),數(shù)據(jù)可能成為最大的交易商品。 　　

IBM執(zhí)行總裁羅睿蘭認(rèn)為,‘?dāng)?shù)據(jù)將成為一切行業(yè)當(dāng)中決定勝負(fù)的根本因素,最終數(shù)據(jù)將成為人類至關(guān)重要的自然資源。’ 　　

大數(shù)據(jù)的價(jià)值是通過(guò)數(shù)據(jù)共享、交叉復(fù)用后獲取最大的數(shù)據(jù)價(jià)值。麥肯錫則預(yù)測(cè)未來(lái)大數(shù)據(jù)產(chǎn)品在三大行業(yè)的應(yīng)用就將產(chǎn)生7千億美元的潛在市場(chǎng),中國(guó)大數(shù)據(jù)產(chǎn)品的潛在市場(chǎng)規(guī)模有望達(dá)到1.57萬(wàn)億元,給IT行業(yè)開(kāi)拓了新的黃金時(shí)代。 　　

大數(shù)據(jù)正在重構(gòu)很多傳統(tǒng)行業(yè)。通過(guò)收集、整理生活中方方面面的數(shù)據(jù),并對(duì)其進(jìn)行分析挖掘,進(jìn)而從中獲得有價(jià)值信息,最終衍化出新的商業(yè)模式。麥當(dāng)勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎(chǔ)之上的精準(zhǔn)選址。在零售業(yè)中,數(shù)據(jù)分析的技術(shù)與手段更得到廣泛的應(yīng)用,卓越亞馬遜、淘寶等通過(guò)對(duì)海量數(shù)據(jù)的掌握和分析,為用戶提供更加專業(yè)化和個(gè)性化的服務(wù)。 　　

與此同時(shí),大數(shù)據(jù)在社會(huì)管理等方面,也具有不可替代的重大價(jià)值。