大數(shù)據(jù)時代：大數(shù)據(jù)中的大價值_數(shù)據(jù)分析師

繼云計算之后，“大數(shù)據(jù)時代”這一熱詞成為媒體爭相追逐的焦點。那么，何為大數(shù)據(jù)，大數(shù)據(jù)價值幾許 大數(shù)據(jù)時代又會給業(yè)界帶來哪些機遇和挑戰(zhàn)呢

　　大數(shù)據(jù)時代悄然來臨

　　不是我不明白，這世界變化快12000年還是一張軟盤打天下的時代，短短十多年光景，硬盤的存儲容量已從4GB、16GB、32GB迅速攀升到1TB。原來僅有1．44MB的軟盤在當時感覺存儲容量還是蠻大的，到現(xiàn)在硬盤容量躥升至1TB了，反而感覺存儲空間捉襟見肘，到底是哪里出現(xiàn)了問題

　　大數(shù)據(jù)!一語驚醒夢中人，大數(shù)據(jù)時代已經(jīng)悄然來臨。隨著社交網(wǎng)絡(luò)的逐漸成熟，移動帶寬迅速提升，云計算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動終端接入到網(wǎng)絡(luò)，由此產(chǎn)生的數(shù)據(jù)及增長速度迅速攀升。

　　一項由UnisohereResearch對531名獨立Oracle用戶進行的調(diào)查發(fā)現(xiàn)，90％的企業(yè)的數(shù)據(jù)量在迅速上漲，其中16％的企業(yè)的數(shù)據(jù)量每年增長率達到50％或更高。不少企業(yè)已經(jīng)感受到失控的數(shù)據(jù)增長對績效造成的沖擊，其中87％的受訪者將企業(yè)的應(yīng)用程序性能下降歸咎于不斷增長的數(shù)據(jù)量。調(diào)研機構(gòu)IDC在2011年6月的報告則顯示，全球數(shù)據(jù)量在2011年已達到1．8ZB，在過去5年里增加了5倍。

　　1．8ZB是什么樣的概念呢 首先從二進制上解讀一下，從我們最熟悉的GB開始，1TB(TrillionByte)=1024GB；1PB(PetaByte)=1024TB；1EB(ExaByte)=1024PB；1ZB(ZettaByte)=1024 EB；1YB(YottaByte)=1024 ZB；1BB(BrontoByte)=1024YB。

　　再來直接形象地形容一下1．8ZB的數(shù)據(jù)量，如果把所有這些數(shù)據(jù)都刻錄存入普通DVD光盤里，光盤的高度將等同于從地球到月球的一個半來回也就是大約720000英里。相當于每位美國人每分鐘寫3條Twitter微博，而且還要不停地寫2．6976萬年，是不是很恐怖 這還不是最恐怖的，IDC還預(yù)測全球數(shù)據(jù)量大約每兩年翻一番，2015年全球數(shù)據(jù)量將達到近8ZB，到2020年，全球?qū)⑦_到35ZB。

　　所謂的大數(shù)據(jù)最直白的理解是海量數(shù)據(jù)，通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費很多時間和金錢。調(diào)研機構(gòu)IDC認為，某項技術(shù)要想成為大數(shù)據(jù)技術(shù)，必須滿足IBM所描述的三個“V”條件，即多樣性(Variety)、大容量(Volume)和時效性高(Velocity)。多樣性是指數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)；大容量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的；時效性高則是指數(shù)據(jù)處理的速度必須很快。

　　大數(shù)據(jù)中的大價值

　　現(xiàn)在有很多通過大數(shù)據(jù)分析受益的經(jīng)典案例。在科研民生領(lǐng)域，美國的海嘯預(yù)警系統(tǒng)一直為人們津津樂道，去年3月11日日本大地震發(fā)生后僅9分鐘，美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預(yù)警。隨即，NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行計算機模擬，制作的海嘯影響模型便出現(xiàn)在YouTube等網(wǎng)站。大數(shù)據(jù)分析在指導(dǎo)人們有效規(guī)避自然災(zāi)害面前發(fā)揮了很大的作用。

　　而在商業(yè)領(lǐng)域，eBay則很好地起到了示范作用。eBay定義了超過500種類型的數(shù)據(jù)，對顧客的行為進行跟蹤分析，每天處理的數(shù)據(jù)量高達100PB，通過準確分析用戶的購物行為，達到了減少廣告投入、穩(wěn)定高端賣家、實現(xiàn)持續(xù)增長的目的。

　　通過上述兩個案例不難看到，大數(shù)據(jù)分析的價值是非常大的。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，企業(yè)也逐漸步入到大數(shù)據(jù)時代。傳統(tǒng)的標準化、結(jié)構(gòu)化的數(shù)據(jù)只占到15％左右，85％的數(shù)據(jù)來源于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等中的非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。

　　企業(yè)用來分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實，因此，大數(shù)據(jù)具有很大的商業(yè)價值。大數(shù)據(jù)分析是企業(yè)在未來發(fā)展過程中必須面對的，大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將它與已知業(yè)務(wù)的各個細節(jié)相融合。只有那些能夠運用這些新數(shù)據(jù)形態(tài)的企業(yè)，方能打造可持續(xù)發(fā)展的競爭優(yōu)勢。

　　淘金大數(shù)據(jù)時代

　　云計算和大數(shù)據(jù)是2012年IT業(yè)界密切關(guān)注，且又最為火熱的兩大關(guān)鍵詞，對于嗅覺相當靈敏的IT業(yè)界，很多企業(yè)早已嗅出了商機。以投資Facebook而聞名的風(fēng)投公司AccelPartners認為：大數(shù)據(jù)是信息技術(shù)未來發(fā)展的戰(zhàn)略走向，將催生下一代價值數(shù)萬億美元的軟件企業(yè)。

　　大數(shù)據(jù)跟普通數(shù)據(jù)一樣，從產(chǎn)生到處理，再到價值提取，再到最后被消費掉，都有一個過程，每個步驟中都存在著不同的商業(yè)需求，目前已經(jīng)有企業(yè)開始深耕細作或正在跑馬圈地。

　　首先是雅虎的大數(shù)據(jù)系統(tǒng)Hadoop，它已經(jīng)在大數(shù)據(jù)時代嶄露頭角，因它提供了廉價的大數(shù)據(jù)分析處理功能，從而被業(yè)界冠以打開數(shù)據(jù)之門的金鑰匙。Hadoop能將大數(shù)據(jù)分解成多個子問題，將它們分配到成百上千個處理節(jié)點之上，能夠在最短的時間內(nèi)處理海量的數(shù)據(jù)，最后再將處理結(jié)果匯集到一個小數(shù)據(jù)庫集中，從而更容易分析并得出最后的結(jié)果。Hadoop已經(jīng)成為AOL、Facebook和Twitter這些公司進行大數(shù)據(jù)分析的主要提供商。一批著名的大企業(yè)如谷歌、雅虎、JP摩根大通等，也成功利用Hadoop開發(fā)出了開源的大數(shù)據(jù)管理系統(tǒng)。不僅如此，微軟也向Hadoop拋出了橄欖枝，并且決定將Hadoop作為自身大數(shù)據(jù)戰(zhàn)略的核心。Hadoop的明星范兒，讓人們看到了Hadoop在解決大數(shù)據(jù)難題時的巨大潛力。

　　其次，IBM憑借在硬件與軟件方面的優(yōu)勢，提供端到端、整體的大數(shù)據(jù)解決方案。此外，在數(shù)據(jù)存儲、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商，如惠普、甲骨文等公司，在大數(shù)據(jù)分析領(lǐng)域也有著明顯的優(yōu)勢。2011年10月，甲骨文發(fā)布了新版NoSQL數(shù)據(jù)庫企業(yè)版，這是運行于Hadoop之上的大數(shù)據(jù)軟件之一。除了花大力氣開發(fā)自有技術(shù)，更多的企業(yè)希望通過合作與并購的方式來迅速彌補技術(shù)鏈條上的不足。微軟宣布與Hortonwork公司建立新的合作伙伴關(guān)系，后者致力于Hadoop開發(fā)。為了增強非傳統(tǒng)數(shù)據(jù)分析的能力，Teradata收購了Aster Data公司。在2011年，面對高速增長的大數(shù)據(jù)分析，IBM提出了“智慧的運算”，其內(nèi)容包含大規(guī)模數(shù)據(jù)整合、優(yōu)化的系統(tǒng)，以及云計算等新興服務(wù)交付模式。伴隨著全新的zEnterprise 114大型機產(chǎn)品的發(fā)布，zEnterprise System企業(yè)級大型機已經(jīng)作為“系統(tǒng)中的系統(tǒng)”來全面實現(xiàn)“智慧的運算”。

　　最后回頭再來看看微軟為業(yè)界帶來的SQL Server 2012。SOL Server 2012著眼于企業(yè)不斷增長的大數(shù)據(jù)、多樣化分析需求，以打造一個能夠處理大數(shù)據(jù)和智能的云平臺，幫助企業(yè)形成一種可執(zhí)行的洞察力，解決數(shù)據(jù)飛速增長這一難題。

　　剛剛發(fā)布的SQL Server2012，相比以前的版本主要有如下三項重大的更新：一是能夠更好地支持大規(guī)模關(guān)鍵應(yīng)用，通過AlwaysOn集成高可用的災(zāi)難恢復(fù)解決方案，幫助企業(yè)大大減少計劃性停機和非計劃性停機時間，為大中小企業(yè)提供最強的支持；二是更為強大、靈活的分析，通過PowerView和PowerPivot實現(xiàn)快速的數(shù)據(jù)發(fā)現(xiàn)，基于Excel的PowerPivot讓用戶可以方便地連接不同的數(shù)據(jù)源和對數(shù)據(jù)進行混搭，PowerView則允許用戶使用拖曳式界面進行數(shù)據(jù)瀏覽；三是按需而“云”，全面支持云技術(shù)與平臺，能夠快速構(gòu)建相應(yīng)的解決方案，實現(xiàn)私有云與公有云之間數(shù)據(jù)的擴展與應(yīng)用的遷移，保證傳統(tǒng)應(yīng)用、私有云、公有云協(xié)同工作的靈活性。SQL Server 2012支持靈活的遷移應(yīng)用，從傳統(tǒng)應(yīng)用到虛擬化部署，使用戶可以根據(jù)需要自由拓展，按需而“云”。

　　擁抱大數(shù)據(jù)時代

　　當大數(shù)據(jù)時代大步向我們走來的時候，企業(yè)有足夠的準備來迎接這場革命嗎 面對洶涌而來的大數(shù)據(jù)時代，從目前的態(tài)勢來看，由于大數(shù)據(jù)的技術(shù)門檻較高，在大數(shù)據(jù)領(lǐng)域展開競爭的IT公司，大都仍然是在數(shù)據(jù)存儲、數(shù)據(jù)分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商。而對于其他IT廠商，盡管也意識到了大數(shù)據(jù)時代的淘金價值，但是無論是土壤、理念，還是技術(shù)、市場層面，都還任重而道遠。

　　第一，大數(shù)據(jù)的急劇蔓延使得企業(yè)在存儲架構(gòu)方面逐漸面臨著史無前例的考驗，由此引發(fā)了數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、商業(yè)智能、云計算等應(yīng)用的一連串連鎖反應(yīng)。

　　第二，網(wǎng)絡(luò)帶寬急待升級。中國平均網(wǎng)速不到全球一半，帶寬過小勢必會成為大數(shù)據(jù)時代的瓶頸，升級帶寬是目前面臨的最迫切的問題。

　　第三，無處不在的大數(shù)據(jù)安全問題。2011年CSDN等網(wǎng)站大規(guī)模的數(shù)據(jù)泄露給業(yè)界上了生動的一課，如何保證大數(shù)據(jù)的安全性是又一只橫亙在大數(shù)據(jù)時代發(fā)展路上的攔路虎。要通過技術(shù)的、行政的、法律的手段，全面阻擊不正當應(yīng)用和新型知識犯罪。

　　第四，大數(shù)據(jù)分析人才緊缺；大數(shù)據(jù)是海洋，分析工具是輪船，而分析人才則是舵手。只有通過掌握了分析工具的人才指引，大數(shù)據(jù)分析才能抵達成功的彼岸。目前，大數(shù)據(jù)分析門檻高，分析人才稀缺是不言的事實。

　　第五，大數(shù)據(jù)時代的數(shù)據(jù)學(xué)的理論和方法將改進現(xiàn)有的科學(xué)研究方法，形成新的科學(xué)研究方法，并且針對各個研究領(lǐng)域開發(fā)出專門的理論、技術(shù)和方法，從而形成專門領(lǐng)域的數(shù)據(jù)學(xué)，例如行為數(shù)據(jù)學(xué)、生命數(shù)據(jù)學(xué)、腦數(shù)據(jù)學(xué)、氣象數(shù)據(jù)學(xué)、金融數(shù)據(jù)學(xué)、地理數(shù)據(jù)學(xué)等。

　　大數(shù)據(jù)時代不但會對IT業(yè)界甚至?xí)φ麄€人類社會產(chǎn)生巨大且意義深遠的影響，大到國家治理、企業(yè)決策，小到個人生活服務(wù)，都會因大數(shù)據(jù)而改變。數(shù)據(jù)的大航海時代已經(jīng)來臨，唯有揚帆應(yīng)變才是正途……