企業(yè)使用大數(shù)據(jù)架構(gòu)的幾種選擇

如果詢問十家公司為了運行大數(shù)據(jù)負(fù)載需要使用怎樣的基礎(chǔ)架構(gòu)，那么可能會得到十種不同的答案?，F(xiàn)在這個領(lǐng)域當(dāng)中幾乎沒有可以遵循的原則，甚至沒有可以參考的最佳實踐。

　　不管是從資源還是從專業(yè)性方面來說，大數(shù)據(jù)分析已經(jīng)成為基礎(chǔ)架構(gòu)領(lǐng)域當(dāng)中真正的難題。顧名思義，大數(shù)據(jù)分析工具所針對的數(shù)據(jù)集合規(guī)模將會非常龐大，并且需要大量的計算、存儲和網(wǎng)絡(luò)資源來滿足性能需求。但是這些大數(shù)據(jù)工具通常是由超大規(guī)模企業(yè)開發(fā)的，這些企業(yè)并不存在普通企業(yè)需要考慮的同等級安全顧慮和高可用性問題，而主流IT企業(yè)還沒有深入了解這些工具，再加上大數(shù)據(jù)在投資回報率方面的不確定性，導(dǎo)致只有非常少的企業(yè)愿意在大數(shù)據(jù)方面進行投入。

　　此外，即便對于曾經(jīng)在Hadoop、Spark和類似產(chǎn)品上運行過大數(shù)據(jù)集群的部分企業(yè)來說，也會在大數(shù)據(jù)基礎(chǔ)架構(gòu)方面遇到技術(shù)和業(yè)務(wù)方面的挑戰(zhàn)。

　　大數(shù)據(jù)帶來大問題

　　一家大型遠(yuǎn)程通訊提供商正在構(gòu)建一種新的數(shù)字服務(wù)，預(yù)計在今年年底正式推出，并且準(zhǔn)備使用Hadoop來分析這種服務(wù)所產(chǎn)生的內(nèi)容、使用情況和收入(廣告服務(wù))數(shù)據(jù)。但是負(fù)責(zé)這個項目的技術(shù)副總裁表示，由于這種服務(wù)是全新的，因此很難分析應(yīng)該使用哪種大數(shù)據(jù)基礎(chǔ)架構(gòu)。

　　“對于一個還沒有推出的項目來說，我們不可能進行任何容量規(guī)劃，”他說。

　　確實，現(xiàn)在很多大數(shù)據(jù)項目仍然處于初級階段?！按蠖鄶?shù)大數(shù)據(jù)項目的性質(zhì)比我們想象的還要低，” Andrew Warfield表示，他是可擴展存儲基礎(chǔ)架構(gòu)提供商Coho Data的CTO。

　　即便企業(yè)還不是十分倆了解大數(shù)據(jù)技術(shù)，但這并不意味著企業(yè)不應(yīng)該在大數(shù)據(jù)方面投入精力。“但是運行這種技術(shù)可能面臨著很大風(fēng)險，提前認(rèn)識到這點非常重要，” Warfield說，他認(rèn)為企業(yè)應(yīng)該提前考慮基礎(chǔ)架構(gòu)方面的因素。

　　對于這家遠(yuǎn)程通訊提供商來說，他們將會采用一種漸進的方式，其使用來自于BlueData Software的軟件在商用硬件環(huán)境當(dāng)中運行大數(shù)據(jù)集群，這樣就能夠從現(xiàn)有的存儲系統(tǒng)上訪問數(shù)據(jù)了。

　　無處不在的數(shù)據(jù)

　　如果數(shù)據(jù)來自于云中，那么當(dāng)然可以直接在云中進行分析;如果數(shù)據(jù)全部位于本地，那么底層的基礎(chǔ)架構(gòu)也應(yīng)該位于本地。但是如果數(shù)據(jù)分散在不同位置，那么無疑會使得基礎(chǔ)架構(gòu)更加復(fù)雜。

　　遠(yuǎn)程通訊提供商的服務(wù)將會同時使用來自于云中和本地的數(shù)據(jù)。對于任何大數(shù)據(jù)解決方案來說，考慮到合規(guī)性、節(jié)省時間和網(wǎng)絡(luò)帶寬等因素，能夠同時支持兩種數(shù)據(jù)來源都是十分重要的?！巴缴a(chǎn)環(huán)境當(dāng)中的數(shù)據(jù)是一件非常困難的事情，”這位副總裁說，“我們希望將所有的實例全都指向一個單一數(shù)據(jù)源?！?/span>

　　此外，雖然數(shù)據(jù)科學(xué)家想要分析的信息是可用的，但是現(xiàn)在還不能進行使用，因為其位于大數(shù)據(jù)計算工具無法訪問的存儲基礎(chǔ)架構(gòu)當(dāng)中。一種解決方案是存儲硬件使用Hadoop Distributed File System或者RESTful API這樣的協(xié)議公開這些數(shù)據(jù)。

　　注意延遲

　　對于某些大數(shù)據(jù)分析來說，將數(shù)據(jù)從存儲陣列移動到計算環(huán)境所花費的時間將會對性能造成嚴(yán)重影響。但是如果不將數(shù)據(jù)跨越整個網(wǎng)絡(luò)移動到計算環(huán)境當(dāng)中，而是將應(yīng)用程序移動到數(shù)據(jù)附近以降低延遲，將會怎樣呢?

　　將計算環(huán)境移動到數(shù)據(jù)附近并不是一種全新的概念，但是現(xiàn)在出現(xiàn)了一種前所未有的實現(xiàn)方式：Docker。比如Coho Data和Intel通過合作證明了這種概念的有效性，在一個大型金融服務(wù)公司當(dāng)中，使用Docker格式封裝計算節(jié)點，之后在上面直接運行Hadoop負(fù)載。

　　在存儲陣列上直接運行Docker容器，這樣做的意義在于直接對附近的數(shù)據(jù)進行分析，而不再需要跨網(wǎng)絡(luò)移動數(shù)據(jù)，同時利用任何可用的計算資源?！跋啾扔谄渌鎯ζ脚_來說，大數(shù)據(jù)平臺的CPU使用率通常會很高，”Warfield說，“更何況如果你將閃存加入其中，那么問題就會變成‘我該如何從這種資源當(dāng)中獲得更多價值?’”

　　直接在存儲陣列當(dāng)中運行容器化應(yīng)用程序是一件非常有趣的事情，但是需要提前對負(fù)載進行認(rèn)真評估，以確保其能夠很好地適應(yīng)當(dāng)前環(huán)境，Signature Tech Studios的副總裁Bubba Hines說。這家公司為建筑行業(yè)提供文檔管理服務(wù)。這種服務(wù)基于Amazon Web服務(wù)，使用來自于Zadara Storage的存儲服務(wù)。這家公司最近開始評估新的Zadara Container Service，其中容器化應(yīng)用程序運行在存儲陣列上，可以直接訪問本地磁盤。根據(jù)Hines的想法，現(xiàn)在有幾種可能的使用情況：在存儲陣列上運行其災(zāi)難恢復(fù)軟件的容器版本來持續(xù)監(jiān)控用戶數(shù)據(jù)和工作方面的變化，更改或者驗證主要存儲數(shù)據(jù)。

　　但是如果使用Zadara Container Service處理全部數(shù)據(jù)將沒有什么意義。Signature Tech Studio的系統(tǒng)正在按照計劃執(zhí)行數(shù)據(jù)轉(zhuǎn)換，并且已經(jīng)實現(xiàn)大規(guī)模容器化了。但是“我們可能不會將所有這些(Docker容器)移動到(Zadara)容器服務(wù)當(dāng)中，因為從體積和規(guī)模方面考慮這樣做并沒有意義，”Hines說，“我們必須尋找能夠真正從降低延遲當(dāng)中獲利的負(fù)載?！?/span>