Spark成為大數(shù)據(jù)分析領(lǐng)域新核心的五個理由

在過去幾年當中，隨著Hadoop逐步成為大數(shù)據(jù)處理領(lǐng)域的主導性解決思路，原本存在的諸多爭議也開始塵埃落定。首先，Hadoop分布式文件系統(tǒng)是處理大數(shù)據(jù)的正確存儲平臺。其次，YARN是大數(shù)據(jù)環(huán)境下理想的資源分配與管理框架選項。第三也是最重要的一點，沒有哪套單一處理框架能夠解決所有問題。雖然MapReduce確實是一項了不起的技術(shù)成果，但仍然不足以成為百試百靈的特效藥。

依賴于Hadoop的企業(yè)需要借助一系列分析型基礎(chǔ)設(shè)施與流程以找到與各類關(guān)鍵性問題相關(guān)的結(jié)論與解答。企業(yè)客戶需要數(shù)據(jù)準備、描述性分析、搜索、預測性分析以及機器學習與圖形處理等更為先進的功能。與此同時，企業(yè)還需要一套能夠滿足其實際需求的工具集，允許他們充分運用目前已經(jīng)具備的各類技能及其它資源。就目前而言，并沒有哪種標準化單一處理框架足以提供這樣的效果。從這個角度出發(fā)，Spark的優(yōu)勢恰好得到了完美體現(xiàn)。

盡管Spark還僅僅是個相對年輕的數(shù)據(jù)項目，但其能夠滿足前面提到的全部需求，甚至可以做得更多。在今天的文章中，我們將列舉五大理由，證明為什么由Spark領(lǐng)銜的時代已經(jīng)來臨。

1. Spark讓高級分析由理想變?yōu)楝F(xiàn)實

盡管多數(shù)大型創(chuàng)新型企業(yè)正在努力拓展其高級分析能力，但在最近于紐約召開的一次大數(shù)據(jù)分析會議上，只有20%的與會者表示目前正在企業(yè)內(nèi)部部署高級分析解決方案。另外80%與會者反映其仍然只具備簡單的數(shù)據(jù)準備與基本分析能力。在這些企業(yè)中，只有極少數(shù)數(shù)據(jù)科學家開始將大量時間用于實現(xiàn)并管理描述性分析機制。

Spark項目提供的框架能夠讓高級分析的開箱即用目標成為現(xiàn)實。這套框架當中包含眾多工具，例如查詢加速、機器學習庫、圖形處理引擎以及流分析引擎等等。對于企業(yè)而言，即使擁有極為杰出的數(shù)據(jù)科學家人才(當然這一前提同樣很難實現(xiàn))，他們也幾乎不可能通過MapReduce實現(xiàn)上述分析目標。除此之外，Spark還提供易于使用且速度驚人的預置庫。在此基礎(chǔ)之上，數(shù)據(jù)科學家們將被解放出來，從而將主要精力集中在數(shù)據(jù)準備及質(zhì)量控制之外的、更為關(guān)鍵的事務身上。有了Spark的協(xié)助，他們甚至能夠確保對分析結(jié)果做出正確的解釋。

2. Spark讓一切更為簡便

長久以來，Hadoop面臨的最大難題就是使用難度過高，企業(yè)甚至很難找到有能力打理Hadoop的人才。雖然隨著新版本的不斷出爐，如今Hadoop在便捷性與功能水平方面已經(jīng)得到了長足進步，但針對難度的詬病之聲依然不絕于耳。相較于強制要求用戶了解一系列高復雜性知識背景，例如Java與MapReduce編程模式，Spark項目則在設(shè)計思路上保證了每一位了解數(shù)據(jù)庫及一定程度腳本技能(使用Python或者Scala語言)的用戶都能夠輕松上手。在這種情況下，企業(yè)能夠更順暢地找到有能力理解其數(shù)據(jù)以及相關(guān)處理工具的招聘對象。此外，供應商還能夠快速為其開發(fā)出分析解決方案，并在短時間內(nèi)將創(chuàng)新型成果交付至客戶手中。

3. Spark提供多種語言選項

在討論這一話題時，我們不禁要問：如果SQL事實上并不存在，那么我們是否會為了應對大數(shù)據(jù)分析挑戰(zhàn)而發(fā)明SQL這樣一種語言?答案恐怕是否定的——至少不會僅僅只發(fā)明SQL。我們當然希望能夠根據(jù)具體問題的不同而擁有更多更為靈活的選項，通過多種角度實現(xiàn)數(shù)據(jù)整理與檢索，并以更為高效的方式將數(shù)據(jù)移動到分析框架當中。Spark就拋開了一切以SQL為中心的僵化思路，將通往數(shù)據(jù)寶庫的大門向最快、最精致的分析手段敞開，這種不畏數(shù)據(jù)與業(yè)務挑戰(zhàn)的解決思路確實值得贊賞。

4. Spark加快結(jié)果整理速度

隨著業(yè)務發(fā)展步伐的不斷加快，企業(yè)對于實時分析結(jié)果的需要也變得愈發(fā)迫切。Spark項目提供的并發(fā)內(nèi)存內(nèi)處理機制能夠帶來數(shù)倍于其它采用磁盤訪問方式的解決方案的結(jié)果交付速度。傳統(tǒng)方案帶來的高延遲水平會嚴重拖慢增量分析及業(yè)務流程的處理速度，并使以此為基礎(chǔ)的運營活動難于開展。隨著更多供應商開始利用Spark構(gòu)建應用程序，分析任務流程的執(zhí)行效率將得到極大提高。分析結(jié)果的快速交付意味著分析人士能夠反復驗證自己的論斷，給出更為精確且完整的答案?？偠灾琒park項目讓分析師們將精力集中在核心工作上：更快更好地為難題找出解答。

5. Spark對于Hadoop供應商選擇不設(shè)硬性要求

目前各大Hadoop發(fā)行版本都能夠支持Spark，其理由也非常充分。Spark是一套中立性解決方案，即不會將用戶綁定到任何一家供應商身上。由于Spark屬于開源項目，因此企業(yè)客戶能夠分析地構(gòu)建Spark分析基礎(chǔ)設(shè)施而不必擔心其是否會受到某些Hadoop供應商在特定發(fā)展思路方面的挾持。如果客戶決定轉(zhuǎn)移平臺，其分析數(shù)據(jù)也能夠順利實現(xiàn)遷移。

Spark項目蘊含著巨大的能量，而且已經(jīng)在短時間內(nèi)經(jīng)受住了考驗、證明其有能力密切匹配大數(shù)據(jù)分析業(yè)務的實際要求。目前我們所迎來的還僅僅是“Spark時代”的開端。隨著企業(yè)越來越多地發(fā)揮Spark項目中的潛能，我們將逐步見證Spark在任意大數(shù)據(jù)分析環(huán)境下鞏固其核心技術(shù)地位，圍繞其建立起的生態(tài)系統(tǒng)也將繼續(xù)茁壯成長。如果企業(yè)客戶希望認真考量高級實時分析技術(shù)的可行性，那么將Spark引入自身大數(shù)據(jù)集幾乎已經(jīng)成為一種必然。