大數(shù)據(jù)基礎(chǔ)設(shè)施論壇：如何構(gòu)建符合大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)基礎(chǔ)設(shè)施

2014中國大數(shù)據(jù)技術(shù)大會(huì)第二日上午的大數(shù)據(jù)基礎(chǔ)設(shè)施論壇上，Mellannox亞太區(qū)市場開發(fā)總監(jiān)劉通、武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責(zé)任公司副總經(jīng)理雷葆華、浪潮云產(chǎn)品部兼渠道推進(jìn)部總經(jīng)理王峰、百度基礎(chǔ)架構(gòu)部高級(jí)架構(gòu)師 柴華和博科中國區(qū)技術(shù)總監(jiān) 谷增云五位專家主要專注于網(wǎng)絡(luò)層面的相關(guān)問題展開的演講。

圖：Mellannox亞太區(qū)市場開發(fā)總監(jiān)劉通

Mellannox亞太區(qū)市場開發(fā)總監(jiān)劉通帶來了主題為“高速網(wǎng)絡(luò)InfiniBand加速大數(shù)據(jù)應(yīng)用”的演講。他表示基礎(chǔ)設(shè)施和上層的應(yīng)用有著非常緊密的聯(lián)系，軟硬件結(jié)合才更有意義。在他看來，InfiniBand是一個(gè)完全自主且非常智能的二層網(wǎng)絡(luò)，從誕生的那天其就是SDN的網(wǎng)絡(luò)。

“高達(dá)56Gb/s的帶寬（100G EDR InfiniBand也已問世）以及低于700納秒的延遲為高速數(shù)據(jù)傳輸提供了保證。InfiniBand內(nèi)置支持RDMA（遠(yuǎn)端內(nèi)存直接訪問）網(wǎng)絡(luò)傳輸技術(shù)，提供內(nèi)存零拷貝、內(nèi)核旁路、協(xié)議卸載的優(yōu)勢(shì)，從而大幅下載網(wǎng)絡(luò)通信對(duì)CPU資源的占用，這些優(yōu)勢(shì)是傳統(tǒng)TCP/IP通信協(xié)議所不具備的?！彼f道。

圖：武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責(zé)任公司副總經(jīng)理雷葆華

武漢綠色網(wǎng)絡(luò)信息服務(wù)有限責(zé)任公司副總經(jīng)理雷葆華發(fā)表主題為“大數(shù)據(jù)在網(wǎng)絡(luò)服務(wù)中的應(yīng)用及網(wǎng)絡(luò)演進(jìn)”的演講。  他就網(wǎng)絡(luò)運(yùn)營中的大數(shù)據(jù)探索和大數(shù)據(jù)時(shí)代的智能化網(wǎng)絡(luò)基礎(chǔ)設(shè)施演進(jìn)兩個(gè)內(nèi)容進(jìn)行了闡述。他介紹了基于網(wǎng)絡(luò)的大數(shù)據(jù)體系架構(gòu)的三個(gè)層次：第一個(gè)是大數(shù)據(jù)海量數(shù)據(jù)采集及預(yù)處理；第二個(gè)是DMP數(shù)據(jù)管理平臺(tái)匯聚了各省的數(shù)據(jù)資源，并進(jìn)行安全去隱私化處理；第三個(gè)是合作伙伴可以利用運(yùn)營商大數(shù)據(jù)平臺(tái)的資源，進(jìn)行數(shù)據(jù)的深入分析挖掘。

他認(rèn)為IDC是互聯(lián)網(wǎng)產(chǎn)業(yè)的基礎(chǔ)戰(zhàn)略資源，作為信息中樞，直接支撐整個(gè)互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展。而大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)演進(jìn)發(fā)生了三個(gè)變化：1.不定向突發(fā)流量的挑戰(zhàn)；2.云數(shù)據(jù)中心互聯(lián)；3.云開數(shù)據(jù)中心內(nèi)部組網(wǎng)支持云服務(wù)。歸納來說就是業(yè)務(wù)變化驅(qū)動(dòng)網(wǎng)絡(luò)架構(gòu)的變化：1. 業(yè)務(wù)流量由縱向?yàn)橹餮葸M(jìn)為橫向?yàn)橹鳎?. 大型異構(gòu)化，更多的節(jié)點(diǎn)數(shù)跨數(shù)據(jù)中心；虛擬化：3. 同一物理服務(wù)器的虛擬機(jī)之間的通信、跨物理服務(wù)器的虛擬機(jī)通信時(shí)的虛擬機(jī)標(biāo)識(shí)、虛擬機(jī)遷移。

圖：浪潮云產(chǎn)品部兼渠道推進(jìn)部總經(jīng)理王峰

浪潮云產(chǎn)品部兼渠道推進(jìn)部總經(jīng)理王峰發(fā)表了主題為“開放融合的云數(shù)據(jù)中心”的演講。過去的數(shù)據(jù)中心是為某一個(gè)應(yīng)用做的，我們的數(shù)據(jù)中心的效率并不是非常高，然后提出了軟件定義的計(jì)算和存儲(chǔ)，他表示希望未來在信息領(lǐng)域做的所有東西都是可以軟件定義的，所有的資源都可以被抽象化、池化 和自動(dòng)化。

傳統(tǒng)的數(shù)據(jù)中心架構(gòu)，計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源是彼此獨(dú)立，不同應(yīng)用更是要求不同的設(shè)備和網(wǎng)絡(luò)，利用應(yīng)用軟件定義的數(shù)據(jù)中心能夠簡化IT應(yīng)用基礎(chǔ)架構(gòu)，讓其不再是整個(gè)云計(jì)算、大數(shù)據(jù)中最重的那一部分。最后，他總結(jié)了兩點(diǎn)：1. SDDC將完全改變數(shù)據(jù)中心的設(shè)備形態(tài)、服務(wù)形式，甚至IT應(yīng)用的開展方式；2. 在完全融合、池化、軟件定義的數(shù)據(jù)中心到來之前，我們還有幾個(gè)必經(jīng)階段。

圖：百度基礎(chǔ)架構(gòu)部高級(jí)架構(gòu)師 柴華

百度基礎(chǔ)架構(gòu)部高級(jí)架構(gòu)師 柴華介紹了百度分布式計(jì)算平臺(tái)。他先是介紹了百度MapReduce的發(fā)展歷程：2004年MapReduce論文發(fā)表，2007年上線了基于Haddop的百度MR，2011年百度MR單集群規(guī)模達(dá)到5000臺(tái)，2013年百度MR單集群達(dá)到13000臺(tái)，2014年 百度DCE發(fā)布，DAG引擎上線。

演講中，柴華重點(diǎn)介紹了百度分布式計(jì)算的“七劍客”：1. 大規(guī)模離線計(jì)算平臺(tái)DCE（MapReduce/DAG模型），2. 大規(guī)模機(jī)器學(xué)習(xí)平臺(tái)MPI(BSP模型)，3. 新一代大規(guī)模機(jī)器學(xué)習(xí)框架ELF(Parameter server架構(gòu))，4. 毫秒級(jí)實(shí)時(shí)計(jì)算系統(tǒng)Dstream，5. 小批量流式計(jì)算系統(tǒng)Task Manger，6. 基于內(nèi)存的開源分布式計(jì)算框架Spark，7. 分布式Trace系統(tǒng)Rig。

博科中國區(qū)技術(shù)總監(jiān) 谷增云

博科中國區(qū)技術(shù)總監(jiān)谷增云，帶來了“用于大數(shù)據(jù)可視化的SDN技術(shù)”技術(shù)分享，主要講述SDN技術(shù)，在大規(guī)模、超高性能的大數(shù)據(jù)采集方面的應(yīng)用。其中Vyatta平臺(tái)的架構(gòu)包含三個(gè)核心層：NFV連接服務(wù)、SDN結(jié)構(gòu)服務(wù)和功能編排。這個(gè)開放式架構(gòu)的每一層都是模塊化的，讓客戶能夠選擇適合其特定數(shù)據(jù)中心要求的產(chǎn)品和/或解決方案。這個(gè)平臺(tái)開放和模塊的特性實(shí)現(xiàn)了互操作性，為客戶帶來更好的選擇。層間通信采用基于標(biāo)準(zhǔn)的透明協(xié)議和方法，包括REST APIs和NETCONF/YANG模式，確保配置的互操作性。最后針對(duì)SDN/Openflow技術(shù)如何在數(shù)Tbps帶寬容量的數(shù)據(jù)中心、骨干網(wǎng)隨時(shí)自動(dòng)化的采集上應(yīng)用做了簡要的分析。