大數(shù)據(jù)與數(shù)據(jù)中心 關(guān)系情如連理

當(dāng)下“大數(shù)據(jù)”無(wú)疑是最火的，在技術(shù)圈里廣為流傳。今年剛剛開(kāi)完的兩會(huì)，中央電視臺(tái)引用大數(shù)據(jù)做出各種各樣的分析統(tǒng)計(jì)，可謂是大數(shù)據(jù)在央視這個(gè)平臺(tái)上的首次亮相，也將大數(shù)據(jù)的應(yīng)用推向了新的高潮。大數(shù)據(jù)是何許也? 大數(shù)據(jù)這個(gè)概念是13年前，Gartner公司在一份研究報(bào)告中首次提出的。大數(shù)據(jù)從字面上不難理解，就是大量的數(shù)據(jù)。到2013年，世界上存儲(chǔ)的數(shù)據(jù)達(dá)到了約1.2澤字節(jié)，其中非數(shù)字?jǐn)?shù)據(jù)只占不到2%。下面的表1列了包括澤字節(jié)的數(shù)據(jù)度量單位。

1Byte8Bit

1KB1024Bytes

1MB1024KB1,048,576Bytes

1GB1024MB1,073,741,824Bytes

1TB1024GB1,099,511,627,776Bytes

1PB1024TB1,125,899,906,842,624Bytes

1EB1024PB1,152,921,504,606,846,976Bytes

1ZB1024EB1,180,591,620,717,411,303,424Bytes

1YB1024ZB1,208,925,819,614,629,174,706,176Bytes

表1 ：數(shù)據(jù)度量單位

1.2澤字節(jié)，就是1024EB。這樣說(shuō)可能感知不到這個(gè)數(shù)據(jù)量有多大。比如紅樓夢(mèng)包含87萬(wàn)字，如果將這些數(shù)據(jù)存儲(chǔ)起來(lái)，則1GB相當(dāng)于671部紅樓夢(mèng)，1TB相當(dāng)于631903部，1PB相當(dāng)于647068911部，1ZB則是1PB的1024*1024倍，這就是海量的數(shù)據(jù)。我們應(yīng)該意識(shí)到信息爆炸已經(jīng)到來(lái)，我們的數(shù)字世界一直在高速擴(kuò)張。谷歌公司每天要處理超過(guò)24PB的數(shù)據(jù)，這意味著其每天的數(shù)據(jù)處理量是美國(guó)國(guó)家圖書館所有紙質(zhì)出版物所含數(shù)據(jù)量的上千倍。Facebook這個(gè)創(chuàng)立時(shí)間不足十年的公司，每天更新的照片量超過(guò)1000萬(wàn)張，每天人們?cè)诰W(wǎng)站上點(diǎn)擊“喜歡”按鈕或者寫評(píng)論大約有三十億次，這就為Facebook公司挖掘用戶喜好提供了大量的數(shù)據(jù)線索。與此同時(shí)，谷歌子公司YouTube每月接待多達(dá)8億的訪客，平均每一秒鐘就會(huì)有一段長(zhǎng)度在一小時(shí)以上的視頻上傳。從科學(xué)研究到醫(yī)療保險(xiǎn)，從銀行業(yè)到互聯(lián)網(wǎng)，各個(gè)不同的領(lǐng)域都在講述著一個(gè)類似的故事，那就是爆發(fā)式增長(zhǎng)的數(shù)據(jù)量。這種增長(zhǎng)超過(guò)了我們創(chuàng)造機(jī)器的速度，甚至超過(guò)了我們的想象。這種大數(shù)據(jù)具有四個(gè)特點(diǎn)：大容量(Volume)、類型多(Variety)、增長(zhǎng)速度快(Velocity)、價(jià)值高(Value)，簡(jiǎn)稱4V，這樣的數(shù)據(jù)使得沒(méi)有辦法在可容忍的時(shí)間下使用常規(guī)軟件方法完成存儲(chǔ)、管理和處理任務(wù)，因此出現(xiàn)了一系列大數(shù)據(jù)相關(guān)的技術(shù)。比如：數(shù)據(jù)采集技術(shù)ETL、數(shù)據(jù)存取技術(shù)SQL、云存儲(chǔ)、云計(jì)算、數(shù)據(jù)挖掘、Hadoop技術(shù)等等。

然而這樣爆發(fā)式增長(zhǎng)的大數(shù)據(jù)，這些大數(shù)據(jù)新技術(shù)都需要有更多的計(jì)算資源、更多的存儲(chǔ)以及高效的轉(zhuǎn)發(fā)平臺(tái)，才能充分利用起來(lái)這些數(shù)據(jù)，顯然數(shù)據(jù)中心是其唯一的落腳點(diǎn)，數(shù)據(jù)中心可以給大數(shù)據(jù)提供最基礎(chǔ)的架構(gòu)，在數(shù)據(jù)中心，大數(shù)據(jù)技術(shù)可以實(shí)施，數(shù)據(jù)可以保存，完成各種各樣的科研實(shí)驗(yàn)、預(yù)測(cè)、搜索業(yè)務(wù)、應(yīng)用系統(tǒng)等。然后數(shù)據(jù)中心現(xiàn)在需要面對(duì)的是海量數(shù)據(jù)，這要求數(shù)據(jù)中心要有龐大的存儲(chǔ)系統(tǒng)，可以存儲(chǔ)大量的計(jì)算數(shù)據(jù)。還要求數(shù)據(jù)中心計(jì)算能力很強(qiáng)，如果每次運(yùn)算都要花費(fèi)數(shù)周或數(shù)月，這樣的計(jì)算結(jié)果將毫無(wú)價(jià)值。因此數(shù)據(jù)中心要有數(shù)以萬(wàn)計(jì)的服務(wù)器，協(xié)同式進(jìn)行分布式計(jì)算。還要求數(shù)據(jù)中心的帶寬要大，核心鏈路要全部40G/100G互連，讓數(shù)據(jù)在各個(gè)計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)以及數(shù)據(jù)中心外界高速傳遞，大數(shù)據(jù)給數(shù)據(jù)中心帶來(lái)的發(fā)展的機(jī)遇，加速了數(shù)據(jù)中心的更新?lián)Q代，傳統(tǒng)的數(shù)據(jù)中心已經(jīng)無(wú)法滿足大數(shù)據(jù)的需要。我們也不難看到，最近各種數(shù)據(jù)中心新技術(shù)層出不窮，有些甚至直接就是為了解決數(shù)據(jù)中心面臨大數(shù)據(jù)、云計(jì)算而遇到的問(wèn)題。數(shù)據(jù)中心從10M接入發(fā)展到1000M接入花費(fèi)了20年，而從1000M到40G接入?yún)s僅用了7、8年的時(shí)間，現(xiàn)在在百度、騰訊、阿里的新建數(shù)據(jù)中心基本全部采用40G互連，100G出口，在運(yùn)營(yíng)商網(wǎng)絡(luò)400G的高速傳輸已經(jīng)開(kāi)始商用，為了滿足日益增長(zhǎng)的數(shù)據(jù)需求，網(wǎng)絡(luò)帶寬也在飛速的增長(zhǎng)，以太網(wǎng)標(biāo)準(zhǔn)機(jī)構(gòu)已經(jīng)開(kāi)始研究400G以太網(wǎng)傳輸技術(shù)，目前的理論極限是1000G，相信不久的將來(lái)這些都將成為現(xiàn)實(shí)，部署到數(shù)據(jù)中心當(dāng)中。數(shù)據(jù)中心傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)也需要革新，F(xiàn)CoE、XLAN、TRILL、SPB、虛擬化技術(shù)等一系列新技術(shù)撲面而來(lái)，讓大數(shù)據(jù)有了發(fā)揮的余地。

大數(shù)據(jù)賦予了數(shù)據(jù)中心更多職能。數(shù)據(jù)中心除了要體現(xiàn)它的價(jià)值，把機(jī)房、設(shè)備、網(wǎng)絡(luò)和服務(wù)器都建好，但這只是修了條路，而修路的意義關(guān)鍵在于跑車，數(shù)據(jù)中心也一樣，它的價(jià)值在于幫助使用者采集、組織和管理數(shù)據(jù)。在大數(shù)據(jù)的發(fā)展趨勢(shì)下，能夠把核心數(shù)據(jù)、緊密相關(guān)的數(shù)據(jù)，以及一些從社會(huì)上拿到的偏向于大數(shù)據(jù)的數(shù)據(jù)資源，將這些數(shù)據(jù)按照自身的核心目標(biāo)和發(fā)展路徑進(jìn)行組織和管理。數(shù)據(jù)中心不僅為大數(shù)據(jù)提供了施展才華的平臺(tái)，也將，也將數(shù)據(jù)進(jìn)行了管理與集中，發(fā)揮更大的效能。

總體來(lái)說(shuō)，似乎是大數(shù)據(jù)對(duì)數(shù)據(jù)中心的影響就好像是另一款高性能的應(yīng)用程序，需要更多的處理能力、更多的存儲(chǔ)空間、以及更高性能的網(wǎng)絡(luò)，似乎只是帶給了數(shù)據(jù)中心一個(gè)大負(fù)擔(dān)，數(shù)據(jù)中心為了迎合大數(shù)據(jù)，被動(dòng)進(jìn)行一些改革。而實(shí)際上，大數(shù)據(jù)不僅僅只是業(yè)務(wù)分析的工具，其也可以成為幫助改善數(shù)據(jù)中心的一款有用的工具。通過(guò)大數(shù)據(jù)技術(shù)，可以有效刪除一些無(wú)用的、重復(fù)性的數(shù)據(jù)，提升數(shù)據(jù)處理效率，降低數(shù)據(jù)中心運(yùn)營(yíng)的綜合成本。所以大數(shù)據(jù)不僅僅給數(shù)據(jù)中心自身帶來(lái)的發(fā)展，也讓數(shù)據(jù)中心運(yùn)營(yíng)更加高效。大數(shù)據(jù)并不是簡(jiǎn)單的大量的數(shù)據(jù)堆積，大數(shù)據(jù)還要解決一些用傳統(tǒng)技術(shù)方法無(wú)法解決的數(shù)據(jù)問(wèn)題，所以海量數(shù)據(jù)只是其一個(gè)方面，關(guān)鍵是充分利用好這些海量數(shù)據(jù)，挖掘其中的價(jià)值。

大數(shù)據(jù)與數(shù)據(jù)中心的發(fā)展相輔相成，互相影響，互相制約，誰(shuí)也離不開(kāi)誰(shuí)。只有將兩者有機(jī)地結(jié)合起來(lái)，才能給企業(yè)帶來(lái)實(shí)質(zhì)性的收益。要知道流量是一個(gè)互聯(lián)網(wǎng)企業(yè)的生命，而數(shù)據(jù)也是數(shù)據(jù)中心的生命，擁有數(shù)據(jù)數(shù)據(jù)中心的生命才能延續(xù)，然而數(shù)據(jù)中心要活的精彩，還需要將這些數(shù)據(jù)充分利用起來(lái)，大數(shù)據(jù)技術(shù)就是最好的幫手。未來(lái)將是數(shù)據(jù)爆發(fā)的時(shí)代，該到了大數(shù)據(jù)和數(shù)據(jù)中心大顯身手的時(shí)候了。