大數(shù)據(jù)時(shí)代來臨 如何挖掘數(shù)據(jù)中的寶藏

繼云計(jì)算之后，“大數(shù)據(jù)時(shí)代”這一熱詞成為媒體爭(zhēng)相追逐的焦點(diǎn)。那么，何為大數(shù)據(jù)，大數(shù)據(jù)價(jià)值幾許?大數(shù)據(jù)時(shí)代又會(huì)給業(yè)界帶來哪些機(jī)遇和挑戰(zhàn)呢?

大數(shù)據(jù)時(shí)代悄然來臨

不是我不明白，這世界變化快12000年還是一張軟盤打天下的時(shí)代，短短十多年光景，硬盤的存儲(chǔ)容量已從4GB、16GB、32GB迅速攀升到1TB。原來僅有1.44MB的軟盤在當(dāng)時(shí)感覺存儲(chǔ)容量還是蠻大的，到現(xiàn)在硬盤容量躥升至1TB了，反而感覺存儲(chǔ)空間捉襟見肘，到底是哪里出現(xiàn)了問題?

大數(shù)據(jù)!一語驚醒夢(mèng)中人，大數(shù)據(jù)時(shí)代已經(jīng)悄然來臨。隨著社交網(wǎng)絡(luò)的逐漸成熟，移動(dòng)帶寬迅速提升，云計(jì)算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動(dòng)終端接入到網(wǎng)絡(luò)，由此產(chǎn)生的數(shù)據(jù)及增長(zhǎng)速度迅速攀升。

一項(xiàng)由UnisohereResearch對(duì)531名獨(dú)立Oracle用戶進(jìn)行的調(diào)查發(fā)現(xiàn)，90%的企業(yè)的數(shù)據(jù)量在迅速上漲，其中16%的企業(yè)的數(shù)據(jù)量每年增長(zhǎng)率達(dá)到50%或更高。不少企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長(zhǎng)對(duì)績(jī)效造成的沖擊，其中87%的受訪者將企業(yè)的應(yīng)用程序性能下降歸咎于不斷增長(zhǎng)的數(shù)據(jù)量。調(diào)研機(jī)構(gòu)IDC在2011年6月的報(bào)告則顯示，全球數(shù)據(jù)量在2011年已達(dá)到1.8ZB，在過去5年里增加了5倍。

1.8ZB是什么樣的概念呢?首先從二進(jìn)制上解讀一下，從我們最熟悉的GB開始，1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB;1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024 EB;1YB(YottaByte)=1024 ZB;1BB(BrontoByte)=1024YB。

再來直接形象地形容一下1.8ZB的數(shù)據(jù)量，如果把所有這些數(shù)據(jù)都刻錄存入普通DVD光盤里，光盤的高度將等同于從地球到月球的一個(gè)半來回也就是大約720000英里。相當(dāng)于每位美國(guó)人每分鐘寫3條Twitter微博，而且還要不停地寫2.6976萬年，是不是很恐怖?這還不是最恐怖的，IDC還預(yù)測(cè)全球數(shù)據(jù)量大約每?jī)赡攴环?015年全球數(shù)據(jù)量將達(dá)到近8ZB，到2020年，全球?qū)⑦_(dá)到35ZB。

所謂的大數(shù)據(jù)最直白的理解是海量數(shù)據(jù)，通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會(huì)花費(fèi)很多時(shí)間和金錢。調(diào)研機(jī)構(gòu)IDC認(rèn)為，某項(xiàng)技術(shù)要想成為大數(shù)據(jù)技術(shù)，必須滿足IBM所描述的三個(gè)“V”條件，即多樣性(Variety)、大容量(Volume)和時(shí)效性高(Velocity)。多樣性是指數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù);大容量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的;時(shí)效性高則是指數(shù)據(jù)處理的速度必須很快。

大數(shù)據(jù)中的大價(jià)值

現(xiàn)在有很多通過大數(shù)據(jù)分析受益的經(jīng)典案例。在科研民生領(lǐng)域，美國(guó)的海嘯預(yù)警系統(tǒng)一直為人們津津樂道，去年3月11日日本大地震發(fā)生后僅9分鐘，美國(guó)國(guó)家海洋和大氣管理局(NOAA)就發(fā)布了詳細(xì)的海嘯預(yù)警。隨即，NOAA通過對(duì)海洋傳感器獲得的實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算機(jī)模擬，制作的海嘯影響模型便出現(xiàn)在YouTube等網(wǎng)站。大數(shù)據(jù)分析在指導(dǎo)人們有效規(guī)避自然災(zāi)害面前發(fā)揮了很大的作用。

而在商業(yè)領(lǐng)域，eBay則很好地起到了示范作用。eBay定義了超過500種類型的數(shù)據(jù)，對(duì)顧客的行為進(jìn)行跟蹤分析，每天處理的數(shù)據(jù)量高達(dá)100PB，通過準(zhǔn)確分析用戶的購物行為，達(dá)到了減少廣告投入、穩(wěn)定高端賣家、實(shí)現(xiàn)持續(xù)增長(zhǎng)的目的。

通過上述兩個(gè)案例不難看到，大數(shù)據(jù)分析的價(jià)值是非常大的。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，企業(yè)也逐漸步入到大數(shù)據(jù)時(shí)代。傳統(tǒng)的標(biāo)準(zhǔn)化、結(jié)構(gòu)化的數(shù)據(jù)只占到15%左右，85%的數(shù)據(jù)來源于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等中的非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。

企業(yè)用來分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)，因此，大數(shù)據(jù)具有很大的商業(yè)價(jià)值。大數(shù)據(jù)分析是企業(yè)在未來發(fā)展過程中必須面對(duì)的，大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將它與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合。只有那些能夠運(yùn)用這些新數(shù)據(jù)形態(tài)的企業(yè)，方能打造可持續(xù)發(fā)展的競(jìng)爭(zhēng)優(yōu)勢(shì)。

淘金大數(shù)據(jù)時(shí)代

云計(jì)算和大數(shù)據(jù)是2012年IT業(yè)界密切關(guān)注，且又最為火熱的兩大關(guān)鍵詞，對(duì)于嗅覺相當(dāng)靈敏的IT業(yè)界，很多企業(yè)早已嗅出了商機(jī)。

大數(shù)據(jù)跟普通數(shù)據(jù)一樣，從產(chǎn)生到處理，再到價(jià)值提取，再到最后被消費(fèi)掉，都有一個(gè)過程，每個(gè)步驟中都存在著不同的商業(yè)需求，目前已經(jīng)有企業(yè)開始深耕細(xì)作或正在跑馬圈地。

擁抱大數(shù)據(jù)時(shí)代

當(dāng)大數(shù)據(jù)時(shí)代大步向我們走來的時(shí)候，企業(yè)有足夠的準(zhǔn)備來迎接這場(chǎng)革命嗎?面對(duì)洶涌而來的大數(shù)據(jù)時(shí)代，從目前的態(tài)勢(shì)來看，由于大數(shù)據(jù)的技術(shù)門檻較高，在大數(shù)據(jù)領(lǐng)域展開競(jìng)爭(zhēng)的IT公司，大都仍然是在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢(shì)的廠商。而對(duì)于其他IT廠商，盡管也意識(shí)到了大數(shù)據(jù)時(shí)代的淘金價(jià)值，但是無論是土壤、理念，還是技術(shù)、市場(chǎng)層面，都還任重而道遠(yuǎn)。

第一，大數(shù)據(jù)的急劇蔓延使得企業(yè)在存儲(chǔ)架構(gòu)方面逐漸面臨著史無前例的考驗(yàn)，由此引發(fā)了數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能、云計(jì)算等應(yīng)用的一連串連鎖反應(yīng)。

第二，網(wǎng)絡(luò)帶寬急待升級(jí)。中國(guó)平均網(wǎng)速不到全球一半，帶寬過小勢(shì)必會(huì)成為大數(shù)據(jù)時(shí)代的瓶頸，升級(jí)帶寬是目前面臨的最迫切的問題。

第三，無處不在的大數(shù)據(jù)安全問題。2011年CSDN等網(wǎng)站大規(guī)模的數(shù)據(jù)泄露給業(yè)界上了生動(dòng)的一課，如何保證大數(shù)據(jù)的安全性是又一只橫亙?cè)诖髷?shù)據(jù)時(shí)代發(fā)展路上的攔路虎。要通過技術(shù)的、行政的、法律的手段，全面阻擊不正當(dāng)應(yīng)用和新型知識(shí)犯罪。

第四，大數(shù)據(jù)分析人才緊缺;大數(shù)據(jù)是海洋，分析工具是輪船，而分析人才則是舵手。只有通過掌握了分析工具的人才指引，大數(shù)據(jù)分析才能抵達(dá)成功的彼岸。目前，大數(shù)據(jù)分析門檻高，分析人才稀缺是不言的事實(shí)。

第五，大數(shù)據(jù)時(shí)代的數(shù)據(jù)學(xué)的理論和方法將改進(jìn)現(xiàn)有的科學(xué)研究方法，形成新的科學(xué)研究方法，并且針對(duì)各個(gè)研究領(lǐng)域開發(fā)出專門的理論、技術(shù)和方法，從而形成專門領(lǐng)域的數(shù)據(jù)學(xué)，例如行為數(shù)據(jù)學(xué)、生命數(shù)據(jù)學(xué)、腦數(shù)據(jù)學(xué)、氣象數(shù)據(jù)學(xué)、金融數(shù)據(jù)學(xué)、地理數(shù)據(jù)學(xué)等。

大數(shù)據(jù)時(shí)代不但會(huì)對(duì)IT業(yè)界甚至?xí)?duì)整個(gè)人類社會(huì)產(chǎn)生巨大且意義深遠(yuǎn)的影響，大到國(guó)家治理、企業(yè)決策，小到個(gè)人生活服務(wù)，都會(huì)因大數(shù)據(jù)而改變。數(shù)據(jù)的大航海時(shí)代已經(jīng)來臨，唯有揚(yáng)帆應(yīng)變才是正途……