大時(shí)代3.0之大數(shù)據(jù)時(shí)代

有一天，美國零售企業(yè)好市多(Costco)接到了一位母親的投訴：“我的女兒才16歲，你們卻向她推銷孕婦類的產(chǎn)品?！?/span>

　　但是，這一次，尷尬的是這位母親自己，她16歲的女兒確實(shí)懷孕了。為什么賣貨的商場，卻能比朝夕相處的母親，更早知道女兒的孕事？

　　回答這個(gè)問題，要扯上一個(gè)在2012年熱透全球科技行業(yè)的關(guān)鍵詞——大數(shù)據(jù)。

　　數(shù)據(jù)之大

　　發(fā)現(xiàn)自己懷孕之后，16歲的她不敢告訴母親，只能時(shí)常在網(wǎng)上瀏覽一些和懷孕相關(guān)的網(wǎng)站，搜尋一些孕婦要用的東西。這些瀏覽行為會被當(dāng)做數(shù)據(jù)記錄下來，Costco的數(shù)據(jù)分析團(tuán)隊(duì)，會據(jù)此進(jìn)行精確的商品促銷定位。

　　向記者講述這個(gè)故事的華為企業(yè)業(yè)務(wù)BG存儲營銷總監(jiān)楊傳斌，有很多這樣的故事。

　　“最近我們中標(biāo)了山東移動，運(yùn)營商對大數(shù)據(jù)的需求是相當(dāng)?shù)钠惹泻蛷?qiáng)烈?！睏顐鞅笳f，對用戶的話費(fèi)清單進(jìn)行分析，不管是對用戶還是對運(yùn)營商自己都能帶來很大的價(jià)值。

　　首先，從用戶層面看，用戶查詢到自己每月的話費(fèi)單后，面對一長串的數(shù)字，往往無所適從。他們需要知道的是，自己這個(gè)月漫游多還是本地電話多，接電話多還是打出電話多，哪些是自己聯(lián)系最多的人。

　　其次，從運(yùn)營商層面來看，山東移動有數(shù)千萬客戶，怎樣發(fā)掘這些用戶的共性消費(fèi)特征，制訂出符合用戶需求的資費(fèi)套餐，是一個(gè)很大的學(xué)問。

　　而這些都有賴于引入大數(shù)據(jù)的存儲系統(tǒng)和分析系統(tǒng)?！安渴鸫髷?shù)據(jù)，一方面可以增加客戶的黏度，另一方面可以降低運(yùn)營成本，有的資費(fèi)套餐只有很少人用，卻還要為它維持一整套系統(tǒng)。”楊傳斌向記者透露，華為的大數(shù)據(jù)解決方案已經(jīng)在電信領(lǐng)域有了很多成功案例。

　　“大數(shù)據(jù)”的風(fēng)靡一時(shí)，歸根結(jié)底還是因?yàn)槿祟惿鐣?shù)據(jù)量的幾何級增長。

　　“根據(jù)我們的跟蹤，每18個(gè)月新產(chǎn)生的數(shù)據(jù)量是過去所有歷史數(shù)據(jù)的總和?！睏顐鞅笳f，盡管公眾接觸到大數(shù)據(jù)這個(gè)概念是最近一兩年的事，但在業(yè)界，這個(gè)詞早在上世紀(jì)60年代就已經(jīng)出現(xiàn)。

　　從那時(shí)候到現(xiàn)在，人類對數(shù)據(jù)的應(yīng)用主要經(jīng)歷了三個(gè)階段。

　　第一個(gè)階段被稱為關(guān)鍵應(yīng)用部署階段，時(shí)間從上世紀(jì)60年代到80年代早期，當(dāng)時(shí)的主要用戶是企業(yè)，主要是在大型機(jī)上部署財(cái)務(wù)、銀行等關(guān)鍵應(yīng)用系統(tǒng)，存儲介質(zhì)包括磁盤、磁帶、光盤等。

　　這些數(shù)據(jù)很關(guān)鍵，很重要，盡管當(dāng)時(shí)人們稱之為大數(shù)據(jù)，但從現(xiàn)在看來，這些數(shù)據(jù)的量是很有限的，這從上述存儲介質(zhì)的出貨量增長上就能看出來。

　　第二個(gè)階段是企業(yè)自動化階段，標(biāo)志是PC的出現(xiàn)和大量應(yīng)用，企業(yè)內(nèi)部出現(xiàn)了很多以辦公文檔為主要形式的數(shù)據(jù)，包括office文檔、Excel文檔，以及后來的圖片、圖像、影像和音樂等。這時(shí)候，產(chǎn)生數(shù)據(jù)的不僅僅是企業(yè)的財(cái)務(wù)人員，還包括大量的辦公人員，這極大地促進(jìn)了數(shù)據(jù)量的增長。

　　互聯(lián)網(wǎng)的興起為數(shù)據(jù)的第三次大規(guī)模增長插上了翅膀，在這個(gè)階段，產(chǎn)生數(shù)據(jù)的人更加擴(kuò)展了，不光是企業(yè)的辦公人員，幾乎全民都在制造數(shù)據(jù)。與此同時(shí)，數(shù)據(jù)的形式也極大豐富，各種應(yīng)用層出不窮，既有視頻、微博、博客等主動產(chǎn)生的數(shù)據(jù)，也有搜索、瀏覽網(wǎng)頁等被動行為過程中被記錄、搜集的數(shù)據(jù)。

　　楊傳斌說，發(fā)展到今天，這些數(shù)據(jù)已經(jīng)呈現(xiàn)指數(shù)級的增長。目前全球性的科技公司都要和PB級規(guī)模的數(shù)據(jù)打交道，而Facebook每天要存儲大約100TB的用戶數(shù)據(jù)，NASA(美國國家航空航天局)每天要處理約24TB的數(shù)據(jù)。
　　
　　這些用來存儲數(shù)據(jù)信息的單位可能比較抽象，拿人們熟悉的兆(MB)來做參照，1024個(gè)MB是1個(gè)GB，1024個(gè)GB是1個(gè)TB，1024個(gè)TB是1個(gè)PB，1024個(gè)PB是1個(gè)EB，1024個(gè)EB是1個(gè)ZB。舉個(gè)例子來說，歐洲物理對撞機(jī)每年會產(chǎn)生28PB的數(shù)據(jù)規(guī)模。

　　楊傳斌說，目前全球每年產(chǎn)生的數(shù)據(jù)量是ZB級，到2015年會達(dá)到35個(gè)ZB。

　　商業(yè)機(jī)會

　　數(shù)據(jù)無處不在，并通過各種可能的方式影響著企業(yè)業(yè)務(wù)和每個(gè)人的生活。但某種程度上，這又是一個(gè)很容易陷入行話堆砌和承諾陷阱的領(lǐng)域，尤其是最近一兩年來，隨著“大數(shù)據(jù)”成為科技熱詞，各路廠商紛紛從自己的角度出發(fā)，推介自己形形色色的大數(shù)據(jù)產(chǎn)品和解決方案。一時(shí)之間，趕時(shí)髦者有之，新瓶裝舊酒者有之。

　　“華為目前推出的大數(shù)據(jù)存儲產(chǎn)品，比如N8000、CSS等就具有這樣的特征?！睏顐鞅笳f，作為高性能存儲的一個(gè)指標(biāo)，華為的大數(shù)據(jù)解決方案在最近的一項(xiàng)測試中達(dá)到了300萬OPS。這是衡量存儲性能的一個(gè)指標(biāo)，意思是每秒鐘能進(jìn)行300萬個(gè)操作。

　　楊傳斌向記者透露，華為的這些大數(shù)據(jù)存儲已經(jīng)在國內(nèi)外有了很多客戶，除了前文提及的Costco、山東移動、歐洲核子研究中心(CERN)，還包括工商銀行、全球最大的體育視頻節(jié)目制作公司IMG等。前者希望從客戶的存儲中挖掘投資習(xí)慣，并向客戶針對性地推薦理財(cái)產(chǎn)品；后者對分布式動態(tài)視頻渲染有著很大的需求。

　　“除了存在那里，大數(shù)據(jù)主要還是要給存儲數(shù)據(jù)的用戶或者是最終的使用者帶來價(jià)值?！睏顐鞅髮τ浾弑硎?，對于如何從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，業(yè)界有很多不一樣的技術(shù)，其中最主要的是以Hadoop為基礎(chǔ)建立的一整套分析體系。

　　Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，主要來源于開源社區(qū)。楊傳斌說，這個(gè)體系由眾多的自由貢獻(xiàn)者、部分廠商，通過開源的方式提供出來供大家自由使用，華為在其中也貢獻(xiàn)了自己的計(jì)算分析和存儲技術(shù)。

　　截至目前，無論是英特爾、IBM、EMC這樣的基礎(chǔ)架構(gòu)廠商，還是微軟、SAP、甲骨文這樣的應(yīng)用軟件廠商，都推出了支持Hadoop或者基于Hadoop的產(chǎn)品線，以應(yīng)對市場對于大數(shù)據(jù)的需求。

　　“華為也會在Hadoop的體系內(nèi)提供接口，和整個(gè)大數(shù)據(jù)的分析領(lǐng)域?qū)悠饋?。”楊傳斌說，Hadoop對于IT業(yè)界來說，除了存儲，還可以在計(jì)算、分析、數(shù)據(jù)調(diào)度等方面為企業(yè)帶來商機(jī)。

　　著名市場研究公司Gartner在2012年10月發(fā)布的一份研究報(bào)告稱，在2012年，大數(shù)據(jù)對全球IT開支的直接或間接推動達(dá)960億美元，而到2016年，這一數(shù)字預(yù)計(jì)將達(dá)到2320億美元。

　　基于大數(shù)據(jù)的分析，未來會在社會的方方面面得到應(yīng)用。比如，通過遍布各地的電子眼和監(jiān)控?cái)z像頭，警務(wù)系統(tǒng)可以基于大數(shù)據(jù)識別一些危險(xiǎn)的人或危險(xiǎn)的行為，發(fā)現(xiàn)苗頭進(jìn)行預(yù)警。

　　再比如，現(xiàn)在幾乎沒有人可以離開手機(jī)，而手機(jī)信號的大數(shù)據(jù)使用，未來甚至可以用于控制交通流量，通過車上的GPS和手機(jī)，當(dāng)交通進(jìn)入擁堵狀態(tài)，就通過手機(jī)提示你進(jìn)入某個(gè)路段要收費(fèi)，如果執(zhí)意進(jìn)入，費(fèi)用就從手機(jī)上直接自動收取了，這就避免了現(xiàn)在在各個(gè)路口設(shè)卡刷卡的做法所帶來的麻煩。

　　“這些都是和政府的政策相關(guān)，技術(shù)上已經(jīng)完全能實(shí)現(xiàn)，只不過政策上怎么部署的問題?！睏顐鞅笳f。

　　格局未定

　　“大數(shù)據(jù)還剛剛開始，可以說還沒有形成格局?！睏顐鞅笳J(rèn)為，截至目前，也還沒有一個(gè)完全獨(dú)立的大數(shù)據(jù)市場來作為樣本分析。

　　談到市場競爭，楊傳斌表示，“從國內(nèi)來講，華為在大數(shù)據(jù)領(lǐng)域遇到的競爭還是比較少的，因?yàn)槠渌麖S商還不太關(guān)注中國市場的大數(shù)據(jù)；從海外來講，大數(shù)據(jù)解決方案提供商涵蓋傳統(tǒng)基礎(chǔ)架構(gòu)廠商、新興軟件廠商和一些基于開源平臺的廠商，提供大數(shù)據(jù)收集、存儲、提取、分類、分析、報(bào)表、商業(yè)智能等某幾方面的功能模塊?！?/span>

　　事實(shí)上，存儲巨頭EMC對大數(shù)據(jù)也一直在搖旗吶喊。EMC董事長、總裁兼首席執(zhí)行官喬·圖斯曾對記者表示，大數(shù)據(jù)已不僅停留于概念，數(shù)據(jù)大爆炸催生了社會各界對數(shù)據(jù)分析的需求。他還預(yù)測，大數(shù)據(jù)的發(fā)展必將影響職場，未來，擁有一個(gè)數(shù)據(jù)科學(xué)(DataScience)學(xué)位將比擁有一個(gè)計(jì)算機(jī)科學(xué)(ComputerScience)學(xué)位更有市場。

　　在華為看來，大數(shù)據(jù)解決方案和傳統(tǒng)IT相比面臨一些新的挑戰(zhàn)，首先，大數(shù)據(jù)應(yīng)用的數(shù)據(jù)量很大，并且是有一個(gè)逐步積累的過程，要求無論是存儲能力和計(jì)算能力都需要按需可擴(kuò)展；其次，大數(shù)據(jù)由于數(shù)據(jù)體量龐大，數(shù)據(jù)移動面臨困難，要求應(yīng)用程序就近計(jì)算，結(jié)果輸出；第三，存儲面臨著成本壓力問題，重刪、備份及歸檔一體，可大幅降低存儲成本。