企業(yè)使用大數(shù)據(jù)架構(gòu)的幾種選擇

如果詢問(wèn)十家公司為了運(yùn)行大數(shù)據(jù)負(fù)載需要使用怎樣的基礎(chǔ)架構(gòu)，那么可能會(huì)得到十種不同的答案?，F(xiàn)在這個(gè)領(lǐng)域當(dāng)中幾乎沒(méi)有可以遵循的原則，甚至沒(méi)有可以參考的最佳實(shí)踐。

　　不管是從資源還是從專業(yè)性方面來(lái)說(shuō)，大數(shù)據(jù)分析已經(jīng)成為基礎(chǔ)架構(gòu)領(lǐng)域當(dāng)中真正的難題。顧名思義，大數(shù)據(jù)分析工具所針對(duì)的數(shù)據(jù)集合規(guī)模將會(huì)非常龐大，并且需要大量的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源來(lái)滿足性能需求。但是這些大數(shù)據(jù)工具通常是由超大規(guī)模企業(yè)開(kāi)發(fā)的，這些企業(yè)并不存在普通企業(yè)需要考慮的同等級(jí)安全顧慮和高可用性問(wèn)題，而主流IT企業(yè)還沒(méi)有深入了解這些工具，再加上大數(shù)據(jù)在投資回報(bào)率方面的不確定性，導(dǎo)致只有非常少的企業(yè)愿意在大數(shù)據(jù)方面進(jìn)行投入。

　　此外，即便對(duì)于曾經(jīng)在Hadoop、Spark和類似產(chǎn)品上運(yùn)行過(guò)大數(shù)據(jù)集群的部分企業(yè)來(lái)說(shuō)，也會(huì)在大數(shù)據(jù)基礎(chǔ)架構(gòu)方面遇到技術(shù)和業(yè)務(wù)方面的挑戰(zhàn)。

　　大數(shù)據(jù)帶來(lái)大問(wèn)題

　　一家大型遠(yuǎn)程通訊提供商正在構(gòu)建一種新的數(shù)字服務(wù)，預(yù)計(jì)在今年年底正式推出，并且準(zhǔn)備使用Hadoop來(lái)分析這種服務(wù)所產(chǎn)生的內(nèi)容、使用情況和收入(廣告服務(wù))數(shù)據(jù)。但是負(fù)責(zé)這個(gè)項(xiàng)目的技術(shù)副總裁表示，由于這種服務(wù)是全新的，因此很難分析應(yīng)該使用哪種大數(shù)據(jù)基礎(chǔ)架構(gòu)。

　　“對(duì)于一個(gè)還沒(méi)有推出的項(xiàng)目來(lái)說(shuō)，我們不可能進(jìn)行任何容量規(guī)劃，”他說(shuō)。

　　確實(shí)，現(xiàn)在很多大數(shù)據(jù)項(xiàng)目仍然處于初級(jí)階段?！按蠖鄶?shù)大數(shù)據(jù)項(xiàng)目的性質(zhì)比我們想象的還要低，” Andrew Warfield表示，他是可擴(kuò)展存儲(chǔ)基礎(chǔ)架構(gòu)提供商Coho Data的CTO。

　　即便企業(yè)還不是十分倆了解大數(shù)據(jù)技術(shù)，但這并不意味著企業(yè)不應(yīng)該在大數(shù)據(jù)方面投入精力?！暗沁\(yùn)行這種技術(shù)可能面臨著很大風(fēng)險(xiǎn)，提前認(rèn)識(shí)到這點(diǎn)非常重要，” Warfield說(shuō)，他認(rèn)為企業(yè)應(yīng)該提前考慮基礎(chǔ)架構(gòu)方面的因素。

　　對(duì)于這家遠(yuǎn)程通訊提供商來(lái)說(shuō)，他們將會(huì)采用一種漸進(jìn)的方式，其使用來(lái)自于BlueData Software的軟件在商用硬件環(huán)境當(dāng)中運(yùn)行大數(shù)據(jù)集群，這樣就能夠從現(xiàn)有的存儲(chǔ)系統(tǒng)上訪問(wèn)數(shù)據(jù)了。

　　無(wú)處不在的數(shù)據(jù)

　　如果數(shù)據(jù)來(lái)自于云中，那么當(dāng)然可以直接在云中進(jìn)行分析;如果數(shù)據(jù)全部位于本地，那么底層的基礎(chǔ)架構(gòu)也應(yīng)該位于本地。但是如果數(shù)據(jù)分散在不同位置，那么無(wú)疑會(huì)使得基礎(chǔ)架構(gòu)更加復(fù)雜。

　　遠(yuǎn)程通訊提供商的服務(wù)將會(huì)同時(shí)使用來(lái)自于云中和本地的數(shù)據(jù)。對(duì)于任何大數(shù)據(jù)解決方案來(lái)說(shuō)，考慮到合規(guī)性、節(jié)省時(shí)間和網(wǎng)絡(luò)帶寬等因素，能夠同時(shí)支持兩種數(shù)據(jù)來(lái)源都是十分重要的。“同步生產(chǎn)環(huán)境當(dāng)中的數(shù)據(jù)是一件非常困難的事情，”這位副總裁說(shuō)，“我們希望將所有的實(shí)例全都指向一個(gè)單一數(shù)據(jù)源?！?/span>

　　此外，雖然數(shù)據(jù)科學(xué)家想要分析的信息是可用的，但是現(xiàn)在還不能進(jìn)行使用，因?yàn)槠湮挥诖髷?shù)據(jù)計(jì)算工具無(wú)法訪問(wèn)的存儲(chǔ)基礎(chǔ)架構(gòu)當(dāng)中。一種解決方案是存儲(chǔ)硬件使用Hadoop Distributed File System或者RESTful API這樣的協(xié)議公開(kāi)這些數(shù)據(jù)。

　　注意延遲

　　對(duì)于某些大數(shù)據(jù)分析來(lái)說(shuō)，將數(shù)據(jù)從存儲(chǔ)陣列移動(dòng)到計(jì)算環(huán)境所花費(fèi)的時(shí)間將會(huì)對(duì)性能造成嚴(yán)重影響。但是如果不將數(shù)據(jù)跨越整個(gè)網(wǎng)絡(luò)移動(dòng)到計(jì)算環(huán)境當(dāng)中，而是將應(yīng)用程序移動(dòng)到數(shù)據(jù)附近以降低延遲，將會(huì)怎樣呢?

　　將計(jì)算環(huán)境移動(dòng)到數(shù)據(jù)附近并不是一種全新的概念，但是現(xiàn)在出現(xiàn)了一種前所未有的實(shí)現(xiàn)方式：Docker。比如Coho Data和Intel通過(guò)合作證明了這種概念的有效性，在一個(gè)大型金融服務(wù)公司當(dāng)中，使用Docker格式封裝計(jì)算節(jié)點(diǎn)，之后在上面直接運(yùn)行Hadoop負(fù)載。

　　在存儲(chǔ)陣列上直接運(yùn)行Docker容器，這樣做的意義在于直接對(duì)附近的數(shù)據(jù)進(jìn)行分析，而不再需要跨網(wǎng)絡(luò)移動(dòng)數(shù)據(jù)，同時(shí)利用任何可用的計(jì)算資源?！跋啾扔谄渌鎯?chǔ)平臺(tái)來(lái)說(shuō)，大數(shù)據(jù)平臺(tái)的CPU使用率通常會(huì)很高，”Warfield說(shuō)，“更何況如果你將閃存加入其中，那么問(wèn)題就會(huì)變成‘我該如何從這種資源當(dāng)中獲得更多價(jià)值?’”

　　直接在存儲(chǔ)陣列當(dāng)中運(yùn)行容器化應(yīng)用程序是一件非常有趣的事情，但是需要提前對(duì)負(fù)載進(jìn)行認(rèn)真評(píng)估，以確保其能夠很好地適應(yīng)當(dāng)前環(huán)境，Signature Tech Studios的副總裁Bubba Hines說(shuō)。這家公司為建筑行業(yè)提供文檔管理服務(wù)。這種服務(wù)基于Amazon Web服務(wù)，使用來(lái)自于Zadara Storage的存儲(chǔ)服務(wù)。這家公司最近開(kāi)始評(píng)估新的Zadara Container Service，其中容器化應(yīng)用程序運(yùn)行在存儲(chǔ)陣列上，可以直接訪問(wèn)本地磁盤。根據(jù)Hines的想法，現(xiàn)在有幾種可能的使用情況：在存儲(chǔ)陣列上運(yùn)行其災(zāi)難恢復(fù)軟件的容器版本來(lái)持續(xù)監(jiān)控用戶數(shù)據(jù)和工作方面的變化，更改或者驗(yàn)證主要存儲(chǔ)數(shù)據(jù)。

　　但是如果使用Zadara Container Service處理全部數(shù)據(jù)將沒(méi)有什么意義。Signature Tech Studio的系統(tǒng)正在按照計(jì)劃執(zhí)行數(shù)據(jù)轉(zhuǎn)換，并且已經(jīng)實(shí)現(xiàn)大規(guī)模容器化了。但是“我們可能不會(huì)將所有這些(Docker容器)移動(dòng)到(Zadara)容器服務(wù)當(dāng)中，因?yàn)閺捏w積和規(guī)模方面考慮這樣做并沒(méi)有意義，”Hines說(shuō)，“我們必須尋找能夠真正從降低延遲當(dāng)中獲利的負(fù)載?！?/span>