大數(shù)據(jù)化繁為簡的六大部署要點_數(shù)據(jù)分析師

香港企業(yè)采用大數(shù)據(jù)技術(shù)仍在起步，要考慮的事的確很多，但筆者認為廠商經(jīng)常說得過于復(fù)雜，令企業(yè)設(shè)計大數(shù)據(jù)架構(gòu)時存有疑問，例如在建構(gòu)時選何制定方案使用方法及規(guī)模，相信是很多決策人希望了解的事，那么我們嘗試化繁為簡，由淺入深了解部署時的考慮點。

    在我們考慮大數(shù)據(jù)時，注意力放在「大」這個字，但是在建設(shè)基礎(chǔ)架構(gòu)時，我們還應(yīng)該注意「分散式」的數(shù)據(jù)處理。事實上，大數(shù)據(jù)軟件需要處理大量資訊，而且在將資料復(fù)制到多個位置時，數(shù)據(jù)的容量便會倍增。但是，大數(shù)據(jù)的最重要屬性并不在于它的規(guī)模，而在于它將大作業(yè)分割成許多小作業(yè)的能力，它能夠?qū)⒁粋€任務(wù)的資源分散到多個位置變?yōu)橥瑫r處理。在將大規(guī)模和分散式架構(gòu)組合在一起時，我們就能發(fā)現(xiàn)大數(shù)據(jù)網(wǎng)絡(luò)有一組特殊的需求，下面是需要考慮的六個要素：

1.不容有失 提升網(wǎng)絡(luò)彈性

    如果有一組分散式資源必須通過互聯(lián)網(wǎng)進行協(xié)調(diào)時，可用性就變得非常重要。萬一網(wǎng)絡(luò)出現(xiàn)故障，便會出現(xiàn)不連續(xù)的計算資源與資料庫崩壞。說白一點，大多數(shù)網(wǎng)絡(luò)工程師的主要關(guān)注點是正常執(zhí)行時間，但是，網(wǎng)絡(luò)故障的原因又各不相同，包括設(shè)備故障（硬體與軟體）、維護和人為錯誤。我們都知道伺服器故障是避無可避，網(wǎng)絡(luò)的可用性也很重要，所謂完美的設(shè)計其實是不存在。

    網(wǎng)絡(luò)架構(gòu)師應(yīng)該設(shè)計一些能適應(yīng)故障的彈性網(wǎng)絡(luò)，網(wǎng)絡(luò)的彈性取決于路徑多樣性(資源之間設(shè)置多條路徑)和容錯移轉(zhuǎn)(能夠快速發(fā)現(xiàn)問題和轉(zhuǎn)移到其他路徑上)。除了傳統(tǒng)的平均故障時間間隔（MTBF）方法，大數(shù)據(jù)網(wǎng)絡(luò)的設(shè)計標準一定要包括這些架構(gòu)。

2. 解決網(wǎng)絡(luò)擁塞

    大數(shù)據(jù)應(yīng)用程式不僅僅是規(guī)模大，而且還有突發(fā)性的流量「洪峰」。當一個程序啟動后，數(shù)據(jù)就開始流轉(zhuǎn)，在高流量時段時擁塞造成的問題可以很嚴重，例如可能引起更多的Queues增加延遲和packet lost。網(wǎng)絡(luò)擁塞還可能令請求多次發(fā)出，這可能讓本身負載繁重的網(wǎng)絡(luò)無法承受。因此，網(wǎng)絡(luò)架構(gòu)設(shè)計時應(yīng)該盡可能減少擁塞點，要網(wǎng)絡(luò)具有較高的路徑多樣性，這樣才能容許網(wǎng)絡(luò)流量分流到大量不同的路徑上。

3. 性能一致要比遲延性更重要

    實際上，大多數(shù)大數(shù)據(jù)應(yīng)用程式對網(wǎng)絡(luò)延遲并不敏感。如果運算時間以秒計或以分鐘計的話，即使出現(xiàn)較大延遲也是可以接受，例如為幾千ms。然而，大數(shù)據(jù)應(yīng)用程式一般具有較高的同步性。這意味著作業(yè)是并存執(zhí)行的，而各個作業(yè)之間較大的性能差異可能會引發(fā)應(yīng)用程式故障。除第1至2點提到網(wǎng)絡(luò)的高效性，空間和時間上也要具有一致的性能。

4. 預(yù)留未來的擴展性

    大多數(shù)大數(shù)據(jù)叢集實際上并不大，根據(jù)Hadoop Wizard的資料，2013年大數(shù)據(jù)叢集的平均節(jié)點數(shù)量只有100個。換句話說，即使每一臺伺服器配置雙重redundancy，支援整個叢集也只需要4個接入switch (假設(shè)是分別有72個10GbE網(wǎng)絡(luò)接口的Switch)。

    擴展性并不在于現(xiàn)在叢集現(xiàn)在有多大規(guī)模，而是在乎如何平衡地擴展支援未來的部署規(guī)模。如果基礎(chǔ)架構(gòu)設(shè)計現(xiàn)在只適合小規(guī)模部署，那么整個架構(gòu)將如何隨著節(jié)點數(shù)量的增加而不斷進化？未來何時需要完全重新設(shè)計？這個架構(gòu)是否需要一些近程資料和資料位置資訊？關(guān)鍵是擴展性并不在于絕對規(guī)模，而是更關(guān)注于實現(xiàn)足夠規(guī)模解決方案的路徑。

5. 網(wǎng)絡(luò)分割 關(guān)鍵任務(wù)先行

    網(wǎng)絡(luò)分割是大數(shù)據(jù)應(yīng)用環(huán)境的重要條件，形式上，要將大數(shù)據(jù)的流量與其他網(wǎng)絡(luò)流量區(qū)分開來，這樣應(yīng)用程式產(chǎn)生的突發(fā)流量才不會影響其他關(guān)鍵任務(wù)網(wǎng)絡(luò)負載。除此之外，運行多個作業(yè)的多個用戶，以滿足性能、合規(guī)性和審計的要求。這些工作要求在一些場合中實現(xiàn)網(wǎng)絡(luò)負載的邏輯分離，某些場合還要作物理分離。

6. 應(yīng)用感知力

    雖然大數(shù)據(jù)的概念與Hadoop部署關(guān)系密切，但是它已經(jīng)成為叢集環(huán)境的代名詞。根據(jù)不同應(yīng)用程式的特點，環(huán)境的需求隨之不同。有一些可能對頻寬要求高，一些則可能對延遲很敏感?？傊?，一個網(wǎng)絡(luò)要支援多應(yīng)用程式和多用戶，它就必須要能夠區(qū)分自己的工作負載，并且要能夠正確處理各個工作負載，不僅僅是提供足夠的頻寬。

    最后，應(yīng)用程式體驗取決于很多因素，包括網(wǎng)絡(luò)擁塞和分割。創(chuàng)建一個滿足所有這些需求的網(wǎng)絡(luò)需要具備前瞻性，不僅要考慮基礎(chǔ)架構(gòu)能夠支援的伸縮規(guī)模，還要考慮不同類型的應(yīng)用程式如何共存于同一環(huán)境中。