大數(shù)據(jù)應(yīng)用對網(wǎng)絡(luò)工程師提出新要求

在大數(shù)據(jù)時代，人們很少談?wù)摳W(wǎng)絡(luò)相關(guān)的話題，仿佛網(wǎng)絡(luò)與大數(shù)據(jù)是風(fēng)馬牛不相及的兩回事。事實(shí)上，網(wǎng)絡(luò)不僅跟大數(shù)據(jù)應(yīng)用息息相關(guān)，而且還發(fā)揮了非常重要的作用。但對于很多網(wǎng)絡(luò)工程師來說，他們并沒有認(rèn)清這一點(diǎn)。
    如今在一個典型的數(shù)據(jù)中心架構(gòu)中，包含了大量松耦合的應(yīng)用和半分布式的存儲設(shè)備。一個基于Web的應(yīng)用實(shí)際上是由很多組件組成的，如應(yīng)用負(fù)載均衡、web服務(wù)器前端、應(yīng)用后端，而且都有相應(yīng)的數(shù)據(jù)庫作為數(shù)據(jù)存儲。這些數(shù)據(jù)庫會有本地或者集中化或半分布式的物理存儲設(shè)備，存儲又有復(fù)制和備份的組件。所有的數(shù)據(jù)中心內(nèi)部的流量都需要將正確的數(shù)據(jù)傳送給應(yīng)用用戶。這里的用戶可以是一個人，也可以是另外的一個應(yīng)用。
    上述這種較為傳統(tǒng)的分布式應(yīng)用，其通信方式是相對直接的，很好理解。通過基礎(chǔ)的測量和分析工具，你就可以完整地了解到一個應(yīng)用的各個組件之間的運(yùn)轉(zhuǎn)方式，它們之間是如何交互的以及它們需要什么樣的網(wǎng)絡(luò)環(huán)境等等。在部署應(yīng)用之前，開發(fā)人員幾乎不用為網(wǎng)絡(luò)工程師提供具體的需求和指導(dǎo)。而在這個應(yīng)用走完至少一個擴(kuò)展和性能調(diào)整周期之后，基本就會形成一個固定的模式并保持下去。對于網(wǎng)絡(luò)工程師來說，他們要做的就是確保能夠?yàn)檫@一模式提供合理的網(wǎng)絡(luò)連接。
    然而針對大數(shù)據(jù)應(yīng)用，它給我們提出了新的課題。大數(shù)據(jù)應(yīng)用往往是以高度并行化的方式運(yùn)行，它們部署在一個分布式系統(tǒng)當(dāng)中，這需要在基礎(chǔ)設(shè)施當(dāng)中進(jìn)行海量數(shù)據(jù)的“大挪移”.大數(shù)據(jù)應(yīng)用在設(shè)計的時候，會假定數(shù)據(jù)與其消費(fèi)方式都是持續(xù)分布式的，并且在一個大數(shù)據(jù)集群當(dāng)中復(fù)制到各個節(jié)點(diǎn)。許多應(yīng)用都要應(yīng)對多種不同的數(shù)據(jù)分析任務(wù)。而數(shù)據(jù)集以及數(shù)據(jù)生成方式更是多種多樣，因此它們對于網(wǎng)絡(luò)的要求也會有所不同。正式基于這一點(diǎn)，我們就需要一個更加動態(tài)的網(wǎng)絡(luò)環(huán)境來滿足大數(shù)據(jù)應(yīng)用的需求。
    我們看到，如今有很多大數(shù)據(jù)應(yīng)用是部署在1GbE網(wǎng)絡(luò)上的。很多企業(yè)認(rèn)為，網(wǎng)絡(luò)根本就不叫個事兒，大數(shù)據(jù)只不過是一個計算密集型的項目。這其實(shí)是最基本的錯誤理解。事實(shí)上，許多大數(shù)據(jù)應(yīng)用都是在處理半實(shí)時的流數(shù)據(jù)，每個數(shù)據(jù)集只需要一個相對較小的計算資源。而這些數(shù)據(jù)需要新型的連接方式，這是我們以前所沒有遇到過的。
    上周我跟一個Ad Tech的工程師聊，這是一家發(fā)展速度非?？斓钠髽I(yè)，提供市場營銷與廣告相關(guān)的技術(shù)解決方案。他目前管理了一個大數(shù)據(jù)集群，其中有200臺物理服務(wù)器，使用了市場中最高端的網(wǎng)絡(luò)交換機(jī)。在開放一半的可用端口之前，網(wǎng)絡(luò)堵塞問題就已經(jīng)非常嚴(yán)重了。這個集群中，機(jī)架間需要每秒鐘傳輸700GB甚至1TB的流量。說實(shí)話，市面上很少有網(wǎng)絡(luò)設(shè)備能夠應(yīng)對這樣的需求。
    有人會說，多加帶寬不就完了嘛。而Ad Tech公司的這個案例，恰恰印證了我們所說的，企業(yè)在處理這樣的應(yīng)用需求時需要重新思考他們的網(wǎng)絡(luò)架構(gòu)。傳統(tǒng)的思路已經(jīng)不能跟支持新的應(yīng)用和新的需求了。應(yīng)用在發(fā)生變化，服務(wù)器、存儲以及它們的工作方式也在發(fā)生變化，網(wǎng)絡(luò)工程師需要積極擁抱這種變化。
    但懼怕或者逃避不能解決任何問題，不管你喜不喜歡，該來的總歸要來。網(wǎng)絡(luò)工程師要盡最大努力理解它們的需求，擺脫傳統(tǒng)思維的束縛，然后思考什么樣的網(wǎng)絡(luò)能夠解決這些問題。因?yàn)榫W(wǎng)絡(luò)在其中起到了非常重要的作用，它對大數(shù)據(jù)應(yīng)用的性能會產(chǎn)生巨大影響。