大時(shí)代3.0之大數(shù)據(jù)時(shí)代

有一天，美國(guó)零售企業(yè)好市多(Costco)接到了一位母親的投訴：“我的女兒才16歲，你們卻向她推銷(xiāo)孕婦類(lèi)的產(chǎn)品。”

　　但是，這一次，尷尬的是這位母親自己，她16歲的女兒確實(shí)懷孕了。為什么賣(mài)貨的商場(chǎng)，卻能比朝夕相處的母親，更早知道女兒的孕事？

　　回答這個(gè)問(wèn)題，要扯上一個(gè)在2012年熱透全球科技行業(yè)的關(guān)鍵詞——大數(shù)據(jù)。

　　數(shù)據(jù)之大

　　發(fā)現(xiàn)自己懷孕之后，16歲的她不敢告訴母親，只能時(shí)常在網(wǎng)上瀏覽一些和懷孕相關(guān)的網(wǎng)站，搜尋一些孕婦要用的東西。這些瀏覽行為會(huì)被當(dāng)做數(shù)據(jù)記錄下來(lái)，Costco的數(shù)據(jù)分析團(tuán)隊(duì)，會(huì)據(jù)此進(jìn)行精確的商品促銷(xiāo)定位。

　　向記者講述這個(gè)故事的華為企業(yè)業(yè)務(wù)BG存儲(chǔ)營(yíng)銷(xiāo)總監(jiān)楊傳斌，有很多這樣的故事。

　　“最近我們中標(biāo)了山東移動(dòng)，運(yùn)營(yíng)商對(duì)大數(shù)據(jù)的需求是相當(dāng)?shù)钠惹泻蛷?qiáng)烈?！睏顐鞅笳f(shuō)，對(duì)用戶(hù)的話(huà)費(fèi)清單進(jìn)行分析，不管是對(duì)用戶(hù)還是對(duì)運(yùn)營(yíng)商自己都能帶來(lái)很大的價(jià)值。

　　首先，從用戶(hù)層面看，用戶(hù)查詢(xún)到自己每月的話(huà)費(fèi)單后，面對(duì)一長(zhǎng)串的數(shù)字，往往無(wú)所適從。他們需要知道的是，自己這個(gè)月漫游多還是本地電話(huà)多，接電話(huà)多還是打出電話(huà)多，哪些是自己聯(lián)系最多的人。

　　其次，從運(yùn)營(yíng)商層面來(lái)看，山東移動(dòng)有數(shù)千萬(wàn)客戶(hù)，怎樣發(fā)掘這些用戶(hù)的共性消費(fèi)特征，制訂出符合用戶(hù)需求的資費(fèi)套餐，是一個(gè)很大的學(xué)問(wèn)。

　　而這些都有賴(lài)于引入大數(shù)據(jù)的存儲(chǔ)系統(tǒng)和分析系統(tǒng)?！安渴鸫髷?shù)據(jù)，一方面可以增加客戶(hù)的黏度，另一方面可以降低運(yùn)營(yíng)成本，有的資費(fèi)套餐只有很少人用，卻還要為它維持一整套系統(tǒng)?！睏顐鞅笙蛴浾咄嘎?，華為的大數(shù)據(jù)解決方案已經(jīng)在電信領(lǐng)域有了很多成功案例。

　　“大數(shù)據(jù)”的風(fēng)靡一時(shí)，歸根結(jié)底還是因?yàn)槿祟?lèi)社會(huì)數(shù)據(jù)量的幾何級(jí)增長(zhǎng)。

　　“根據(jù)我們的跟蹤，每18個(gè)月新產(chǎn)生的數(shù)據(jù)量是過(guò)去所有歷史數(shù)據(jù)的總和。”楊傳斌說(shuō)，盡管公眾接觸到大數(shù)據(jù)這個(gè)概念是最近一兩年的事，但在業(yè)界，這個(gè)詞早在上世紀(jì)60年代就已經(jīng)出現(xiàn)。

　　從那時(shí)候到現(xiàn)在，人類(lèi)對(duì)數(shù)據(jù)的應(yīng)用主要經(jīng)歷了三個(gè)階段。

　　第一個(gè)階段被稱(chēng)為關(guān)鍵應(yīng)用部署階段，時(shí)間從上世紀(jì)60年代到80年代早期，當(dāng)時(shí)的主要用戶(hù)是企業(yè)，主要是在大型機(jī)上部署財(cái)務(wù)、銀行等關(guān)鍵應(yīng)用系統(tǒng)，存儲(chǔ)介質(zhì)包括磁盤(pán)、磁帶、光盤(pán)等。

　　這些數(shù)據(jù)很關(guān)鍵，很重要，盡管當(dāng)時(shí)人們稱(chēng)之為大數(shù)據(jù)，但從現(xiàn)在看來(lái)，這些數(shù)據(jù)的量是很有限的，這從上述存儲(chǔ)介質(zhì)的出貨量增長(zhǎng)上就能看出來(lái)。

　　第二個(gè)階段是企業(yè)自動(dòng)化階段，標(biāo)志是PC的出現(xiàn)和大量應(yīng)用，企業(yè)內(nèi)部出現(xiàn)了很多以辦公文檔為主要形式的數(shù)據(jù)，包括office文檔、Excel文檔，以及后來(lái)的圖片、圖像、影像和音樂(lè)等。這時(shí)候，產(chǎn)生數(shù)據(jù)的不僅僅是企業(yè)的財(cái)務(wù)人員，還包括大量的辦公人員，這極大地促進(jìn)了數(shù)據(jù)量的增長(zhǎng)。

　　互聯(lián)網(wǎng)的興起為數(shù)據(jù)的第三次大規(guī)模增長(zhǎng)插上了翅膀，在這個(gè)階段，產(chǎn)生數(shù)據(jù)的人更加擴(kuò)展了，不光是企業(yè)的辦公人員，幾乎全民都在制造數(shù)據(jù)。與此同時(shí)，數(shù)據(jù)的形式也極大豐富，各種應(yīng)用層出不窮，既有視頻、微博、博客等主動(dòng)產(chǎn)生的數(shù)據(jù)，也有搜索、瀏覽網(wǎng)頁(yè)等被動(dòng)行為過(guò)程中被記錄、搜集的數(shù)據(jù)。

　　楊傳斌說(shuō)，發(fā)展到今天，這些數(shù)據(jù)已經(jīng)呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)。目前全球性的科技公司都要和PB級(jí)規(guī)模的數(shù)據(jù)打交道，而Facebook每天要存儲(chǔ)大約100TB的用戶(hù)數(shù)據(jù)，NASA(美國(guó)國(guó)家航空航天局)每天要處理約24TB的數(shù)據(jù)。
　　
　　這些用來(lái)存儲(chǔ)數(shù)據(jù)信息的單位可能比較抽象，拿人們熟悉的兆(MB)來(lái)做參照，1024個(gè)MB是1個(gè)GB，1024個(gè)GB是1個(gè)TB，1024個(gè)TB是1個(gè)PB，1024個(gè)PB是1個(gè)EB，1024個(gè)EB是1個(gè)ZB。舉個(gè)例子來(lái)說(shuō)，歐洲物理對(duì)撞機(jī)每年會(huì)產(chǎn)生28PB的數(shù)據(jù)規(guī)模。

　　楊傳斌說(shuō)，目前全球每年產(chǎn)生的數(shù)據(jù)量是ZB級(jí)，到2015年會(huì)達(dá)到35個(gè)ZB。

　　商業(yè)機(jī)會(huì)

　　數(shù)據(jù)無(wú)處不在，并通過(guò)各種可能的方式影響著企業(yè)業(yè)務(wù)和每個(gè)人的生活。但某種程度上，這又是一個(gè)很容易陷入行話(huà)堆砌和承諾陷阱的領(lǐng)域，尤其是最近一兩年來(lái)，隨著“大數(shù)據(jù)”成為科技熱詞，各路廠(chǎng)商紛紛從自己的角度出發(fā)，推介自己形形色色的大數(shù)據(jù)產(chǎn)品和解決方案。一時(shí)之間，趕時(shí)髦者有之，新瓶裝舊酒者有之。

　　“華為目前推出的大數(shù)據(jù)存儲(chǔ)產(chǎn)品，比如N8000、CSS等就具有這樣的特征。”楊傳斌說(shuō)，作為高性能存儲(chǔ)的一個(gè)指標(biāo)，華為的大數(shù)據(jù)解決方案在最近的一項(xiàng)測(cè)試中達(dá)到了300萬(wàn)OPS。這是衡量存儲(chǔ)性能的一個(gè)指標(biāo)，意思是每秒鐘能進(jìn)行300萬(wàn)個(gè)操作。

　　楊傳斌向記者透露，華為的這些大數(shù)據(jù)存儲(chǔ)已經(jīng)在國(guó)內(nèi)外有了很多客戶(hù)，除了前文提及的Costco、山東移動(dòng)、歐洲核子研究中心(CERN)，還包括工商銀行、全球最大的體育視頻節(jié)目制作公司IMG等。前者希望從客戶(hù)的存儲(chǔ)中挖掘投資習(xí)慣，并向客戶(hù)針對(duì)性地推薦理財(cái)產(chǎn)品；后者對(duì)分布式動(dòng)態(tài)視頻渲染有著很大的需求。

　　“除了存在那里，大數(shù)據(jù)主要還是要給存儲(chǔ)數(shù)據(jù)的用戶(hù)或者是最終的使用者帶來(lái)價(jià)值。”楊傳斌對(duì)記者表示，對(duì)于如何從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，業(yè)界有很多不一樣的技術(shù)，其中最主要的是以Hadoop為基礎(chǔ)建立的一整套分析體系。

　　Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，主要來(lái)源于開(kāi)源社區(qū)。楊傳斌說(shuō)，這個(gè)體系由眾多的自由貢獻(xiàn)者、部分廠(chǎng)商，通過(guò)開(kāi)源的方式提供出來(lái)供大家自由使用，華為在其中也貢獻(xiàn)了自己的計(jì)算分析和存儲(chǔ)技術(shù)。

　　截至目前，無(wú)論是英特爾、IBM、EMC這樣的基礎(chǔ)架構(gòu)廠(chǎng)商，還是微軟、SAP、甲骨文這樣的應(yīng)用軟件廠(chǎng)商，都推出了支持Hadoop或者基于Hadoop的產(chǎn)品線(xiàn)，以應(yīng)對(duì)市場(chǎng)對(duì)于大數(shù)據(jù)的需求。

　　“華為也會(huì)在Hadoop的體系內(nèi)提供接口，和整個(gè)大數(shù)據(jù)的分析領(lǐng)域?qū)悠饋?lái)。”楊傳斌說(shuō)，Hadoop對(duì)于IT業(yè)界來(lái)說(shuō)，除了存儲(chǔ)，還可以在計(jì)算、分析、數(shù)據(jù)調(diào)度等方面為企業(yè)帶來(lái)商機(jī)。

　　著名市場(chǎng)研究公司Gartner在2012年10月發(fā)布的一份研究報(bào)告稱(chēng)，在2012年，大數(shù)據(jù)對(duì)全球IT開(kāi)支的直接或間接推動(dòng)達(dá)960億美元，而到2016年，這一數(shù)字預(yù)計(jì)將達(dá)到2320億美元。

　　基于大數(shù)據(jù)的分析，未來(lái)會(huì)在社會(huì)的方方面面得到應(yīng)用。比如，通過(guò)遍布各地的電子眼和監(jiān)控?cái)z像頭，警務(wù)系統(tǒng)可以基于大數(shù)據(jù)識(shí)別一些危險(xiǎn)的人或危險(xiǎn)的行為，發(fā)現(xiàn)苗頭進(jìn)行預(yù)警。

　　再比如，現(xiàn)在幾乎沒(méi)有人可以離開(kāi)手機(jī)，而手機(jī)信號(hào)的大數(shù)據(jù)使用，未來(lái)甚至可以用于控制交通流量，通過(guò)車(chē)上的GPS和手機(jī)，當(dāng)交通進(jìn)入擁堵?tīng)顟B(tài)，就通過(guò)手機(jī)提示你進(jìn)入某個(gè)路段要收費(fèi)，如果執(zhí)意進(jìn)入，費(fèi)用就從手機(jī)上直接自動(dòng)收取了，這就避免了現(xiàn)在在各個(gè)路口設(shè)卡刷卡的做法所帶來(lái)的麻煩。

　　“這些都是和政府的政策相關(guān)，技術(shù)上已經(jīng)完全能實(shí)現(xiàn)，只不過(guò)政策上怎么部署的問(wèn)題?！睏顐鞅笳f(shuō)。

　　格局未定

　　“大數(shù)據(jù)還剛剛開(kāi)始，可以說(shuō)還沒(méi)有形成格局。”楊傳斌認(rèn)為，截至目前，也還沒(méi)有一個(gè)完全獨(dú)立的大數(shù)據(jù)市場(chǎng)來(lái)作為樣本分析。

　　談到市場(chǎng)競(jìng)爭(zhēng)，楊傳斌表示，“從國(guó)內(nèi)來(lái)講，華為在大數(shù)據(jù)領(lǐng)域遇到的競(jìng)爭(zhēng)還是比較少的，因?yàn)槠渌麖S(chǎng)商還不太關(guān)注中國(guó)市場(chǎng)的大數(shù)據(jù)；從海外來(lái)講，大數(shù)據(jù)解決方案提供商涵蓋傳統(tǒng)基礎(chǔ)架構(gòu)廠(chǎng)商、新興軟件廠(chǎng)商和一些基于開(kāi)源平臺(tái)的廠(chǎng)商，提供大數(shù)據(jù)收集、存儲(chǔ)、提取、分類(lèi)、分析、報(bào)表、商業(yè)智能等某幾方面的功能模塊?！?/span>

　　事實(shí)上，存儲(chǔ)巨頭EMC對(duì)大數(shù)據(jù)也一直在搖旗吶喊。EMC董事長(zhǎng)、總裁兼首席執(zhí)行官喬·圖斯曾對(duì)記者表示，大數(shù)據(jù)已不僅停留于概念，數(shù)據(jù)大爆炸催生了社會(huì)各界對(duì)數(shù)據(jù)分析的需求。他還預(yù)測(cè)，大數(shù)據(jù)的發(fā)展必將影響職場(chǎng)，未來(lái)，擁有一個(gè)數(shù)據(jù)科學(xué)(DataScience)學(xué)位將比擁有一個(gè)計(jì)算機(jī)科學(xué)(ComputerScience)學(xué)位更有市場(chǎng)。

　　在華為看來(lái)，大數(shù)據(jù)解決方案和傳統(tǒng)IT相比面臨一些新的挑戰(zhàn)，首先，大數(shù)據(jù)應(yīng)用的數(shù)據(jù)量很大，并且是有一個(gè)逐步積累的過(guò)程，要求無(wú)論是存儲(chǔ)能力和計(jì)算能力都需要按需可擴(kuò)展；其次，大數(shù)據(jù)由于數(shù)據(jù)體量龐大，數(shù)據(jù)移動(dòng)面臨困難，要求應(yīng)用程序就近計(jì)算，結(jié)果輸出；第三，存儲(chǔ)面臨著成本壓力問(wèn)題，重刪、備份及歸檔一體，可大幅降低存儲(chǔ)成本。