大數(shù)據(jù)時代來臨 如何挖掘數(shù)據(jù)中的寶藏

繼云計算之后，“大數(shù)據(jù)時代”這一熱詞成為媒體爭相追逐的焦點。那么，何為大數(shù)據(jù)，大數(shù)據(jù)價值幾許?大數(shù)據(jù)時代又會給業(yè)界帶來哪些機遇和挑戰(zhàn)呢?

大數(shù)據(jù)時代悄然來臨

不是我不明白，這世界變化快12000年還是一張軟盤打天下的時代，短短十多年光景，硬盤的存儲容量已從4GB、16GB、32GB迅速攀升到1TB。原來僅有1.44MB的軟盤在當(dāng)時感覺存儲容量還是蠻大的，到現(xiàn)在硬盤容量躥升至1TB了，反而感覺存儲空間捉襟見肘，到底是哪里出現(xiàn)了問題?

大數(shù)據(jù)!一語驚醒夢中人，大數(shù)據(jù)時代已經(jīng)悄然來臨。隨著社交網(wǎng)絡(luò)的逐漸成熟，移動帶寬迅速提升，云計算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動終端接入到網(wǎng)絡(luò)，由此產(chǎn)生的數(shù)據(jù)及增長速度迅速攀升。

一項由UnisohereResearch對531名獨立Oracle用戶進行的調(diào)查發(fā)現(xiàn)，90%的企業(yè)的數(shù)據(jù)量在迅速上漲，其中16%的企業(yè)的數(shù)據(jù)量每年增長率達到50%或更高。不少企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長對績效造成的沖擊，其中87%的受訪者將企業(yè)的應(yīng)用程序性能下降歸咎于不斷增長的數(shù)據(jù)量。調(diào)研機構(gòu)IDC在2011年6月的報告則顯示，全球數(shù)據(jù)量在2011年已達到1.8ZB，在過去5年里增加了5倍。

1.8ZB是什么樣的概念呢?首先從二進制上解讀一下，從我們最熟悉的GB開始，1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB;1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024 EB;1YB(YottaByte)=1024 ZB;1BB(BrontoByte)=1024YB。

再來直接形象地形容一下1.8ZB的數(shù)據(jù)量，如果把所有這些數(shù)據(jù)都刻錄存入普通DVD光盤里，光盤的高度將等同于從地球到月球的一個半來回也就是大約720000英里。相當(dāng)于每位美國人每分鐘寫3條Twitter微博，而且還要不停地寫2.6976萬年，是不是很恐怖?這還不是最恐怖的，IDC還預(yù)測全球數(shù)據(jù)量大約每兩年翻一番，2015年全球數(shù)據(jù)量將達到近8ZB，到2020年，全球?qū)⑦_到35ZB。

所謂的大數(shù)據(jù)最直白的理解是海量數(shù)據(jù)，通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費很多時間和金錢。調(diào)研機構(gòu)IDC認(rèn)為，某項技術(shù)要想成為大數(shù)據(jù)技術(shù)，必須滿足IBM所描述的三個“V”條件，即多樣性(Variety)、大容量(Volume)和時效性高(Velocity)。多樣性是指數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù);大容量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的;時效性高則是指數(shù)據(jù)處理的速度必須很快。

大數(shù)據(jù)中的大價值

現(xiàn)在有很多通過大數(shù)據(jù)分析受益的經(jīng)典案例。在科研民生領(lǐng)域，美國的海嘯預(yù)警系統(tǒng)一直為人們津津樂道，去年3月11日日本大地震發(fā)生后僅9分鐘，美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預(yù)警。隨即，NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行計算機模擬，制作的海嘯影響模型便出現(xiàn)在YouTube等網(wǎng)站。大數(shù)據(jù)分析在指導(dǎo)人們有效規(guī)避自然災(zāi)害面前發(fā)揮了很大的作用。

而在商業(yè)領(lǐng)域，eBay則很好地起到了示范作用。eBay定義了超過500種類型的數(shù)據(jù)，對顧客的行為進行跟蹤分析，每天處理的數(shù)據(jù)量高達100PB，通過準(zhǔn)確分析用戶的購物行為，達到了減少廣告投入、穩(wěn)定高端賣家、實現(xiàn)持續(xù)增長的目的。

通過上述兩個案例不難看到，大數(shù)據(jù)分析的價值是非常大的。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，企業(yè)也逐漸步入到大數(shù)據(jù)時代。傳統(tǒng)的標(biāo)準(zhǔn)化、結(jié)構(gòu)化的數(shù)據(jù)只占到15%左右，85%的數(shù)據(jù)來源于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等中的非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。

企業(yè)用來分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實，因此，大數(shù)據(jù)具有很大的商業(yè)價值。大數(shù)據(jù)分析是企業(yè)在未來發(fā)展過程中必須面對的，大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將它與已知業(yè)務(wù)的各個細節(jié)相融合。只有那些能夠運用這些新數(shù)據(jù)形態(tài)的企業(yè)，方能打造可持續(xù)發(fā)展的競爭優(yōu)勢。

淘金大數(shù)據(jù)時代

云計算和大數(shù)據(jù)是2012年IT業(yè)界密切關(guān)注，且又最為火熱的兩大關(guān)鍵詞，對于嗅覺相當(dāng)靈敏的IT業(yè)界，很多企業(yè)早已嗅出了商機。

大數(shù)據(jù)跟普通數(shù)據(jù)一樣，從產(chǎn)生到處理，再到價值提取，再到最后被消費掉，都有一個過程，每個步驟中都存在著不同的商業(yè)需求，目前已經(jīng)有企業(yè)開始深耕細作或正在跑馬圈地。

擁抱大數(shù)據(jù)時代

當(dāng)大數(shù)據(jù)時代大步向我們走來的時候，企業(yè)有足夠的準(zhǔn)備來迎接這場革命嗎?面對洶涌而來的大數(shù)據(jù)時代，從目前的態(tài)勢來看，由于大數(shù)據(jù)的技術(shù)門檻較高，在大數(shù)據(jù)領(lǐng)域展開競爭的IT公司，大都仍然是在數(shù)據(jù)存儲、數(shù)據(jù)分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商。而對于其他IT廠商，盡管也意識到了大數(shù)據(jù)時代的淘金價值，但是無論是土壤、理念，還是技術(shù)、市場層面，都還任重而道遠。

第一，大數(shù)據(jù)的急劇蔓延使得企業(yè)在存儲架構(gòu)方面逐漸面臨著史無前例的考驗，由此引發(fā)了數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能、云計算等應(yīng)用的一連串連鎖反應(yīng)。

第二，網(wǎng)絡(luò)帶寬急待升級。中國平均網(wǎng)速不到全球一半，帶寬過小勢必會成為大數(shù)據(jù)時代的瓶頸，升級帶寬是目前面臨的最迫切的問題。

第三，無處不在的大數(shù)據(jù)安全問題。2011年CSDN等網(wǎng)站大規(guī)模的數(shù)據(jù)泄露給業(yè)界上了生動的一課，如何保證大數(shù)據(jù)的安全性是又一只橫亙在大數(shù)據(jù)時代發(fā)展路上的攔路虎。要通過技術(shù)的、行政的、法律的手段，全面阻擊不正當(dāng)應(yīng)用和新型知識犯罪。

第四，大數(shù)據(jù)分析人才緊缺;大數(shù)據(jù)是海洋，分析工具是輪船，而分析人才則是舵手。只有通過掌握了分析工具的人才指引，大數(shù)據(jù)分析才能抵達成功的彼岸。目前，大數(shù)據(jù)分析門檻高，分析人才稀缺是不言的事實。

第五，大數(shù)據(jù)時代的數(shù)據(jù)學(xué)的理論和方法將改進現(xiàn)有的科學(xué)研究方法，形成新的科學(xué)研究方法，并且針對各個研究領(lǐng)域開發(fā)出專門的理論、技術(shù)和方法，從而形成專門領(lǐng)域的數(shù)據(jù)學(xué)，例如行為數(shù)據(jù)學(xué)、生命數(shù)據(jù)學(xué)、腦數(shù)據(jù)學(xué)、氣象數(shù)據(jù)學(xué)、金融數(shù)據(jù)學(xué)、地理數(shù)據(jù)學(xué)等。

大數(shù)據(jù)時代不但會對IT業(yè)界甚至?xí)φ麄€人類社會產(chǎn)生巨大且意義深遠的影響，大到國家治理、企業(yè)決策，小到個人生活服務(wù)，都會因大數(shù)據(jù)而改變。數(shù)據(jù)的大航海時代已經(jīng)來臨，唯有揚帆應(yīng)變才是正途……