Spark會成為大數(shù)據(jù)分析的新里程碑_數(shù)據(jù)分析師

在年初于紐約舉行的Spark Summit East大會上，Databrick成為了焦點所在，通過新發(fā)布的數(shù)據(jù)處理云服務(wù)，該公司力圖將Spark與MapReduce及Hadoop系統(tǒng)劃清界限。

經(jīng)過本次大會，Spark在業(yè)界的逐漸普及已是不爭的事實。Apache Spark是一個開源的大數(shù)據(jù)處理引擎，能夠被用于解決各界面臨的高難度問題：如何快速識別針對比特幣網(wǎng)絡(luò)的拒絕服務(wù)攻擊？如何將車輛與物聯(lián)網(wǎng)或互聯(lián)網(wǎng)相連接？如何識別出那些極為隱秘的洗錢行為？

對于Spark的興趣不僅僅局限于具有純天然數(shù)字化基因的企業(yè)，或者提供Spark相關(guān)技術(shù)的廠商。諾華制藥（Novartis）、有線電視網(wǎng)Comcast和高盛等公司也在會上為Spark唱起了贊歌。但是，本次Spark Summit與其說是一次會議，不如說是一次Databrick的專場演出。Databrick發(fā)布了商業(yè)版的Spark系統(tǒng)，并且撇清與Hadoop生態(tài)的任何關(guān)系 -- 既非敵人也不是朋友。Databrick這次發(fā)布的是基于云的Spark服務(wù)。

順勢而生

Databrick由加州伯克利大學(xué)AMP實驗室團隊所創(chuàng)建，即Apache Spark的開發(fā)者。自從誕生伊始，Spark就被拿來與MapReduce進行比較，MapReduce是Hadoop最初的數(shù)據(jù)處理引擎。MapReduce因其對大數(shù)據(jù)集的分布式處理能力而廣受關(guān)注，但是也一直在效率方面飽受責(zé)難。MapReduce以批處理方式進行計算，無法很好地應(yīng)對流處理模式（比如物聯(lián)網(wǎng)項目）。而且，MapReduce沒有內(nèi)存計算的選項，每次計算后都要將結(jié)果寫入外部存儲，這使得迭代式的任務(wù)相當(dāng)耗時。

MapReduce的種種缺陷，使得諸如Spark之類的新一代處理引擎應(yīng)運而生?！癕apReduce的設(shè)計始于15年以前，”Databrick的聯(lián)合創(chuàng)始人Patrick Wendell表示：“而Spark則是基于當(dāng)代最新的硬件，完全重新設(shè)計而成的。”

同時，Databrick實現(xiàn)了Spark與Hadoop環(huán)境的兼容，并堅信Spark將在大數(shù)據(jù)生態(tài)中扮演更重要的角色。“我認為Spark將凌駕于Hadoop之上，在更多的場景中發(fā)揮作用。目前，在很大程度上這一點已經(jīng)成為現(xiàn)實?！盬endell說。

去年春季，Databrick與DataStax建立了合作伙伴關(guān)系，后者專注于提供NoSQL數(shù)據(jù)庫Cassandra的商業(yè)版。去年秋天，Databrick發(fā)布了Databrick云，基于Amazon S3存儲提供Spark環(huán)境，實現(xiàn)所謂的大數(shù)據(jù)即服務(wù)。由于在可用性方面受限，有傳聞Databrick云最終將駐留在Google Compute Engine和微軟Azure云上。與MapReduce不同，Databrick盡量讓使用Spark的技術(shù)門檻降低，能夠面向更為廣泛的受眾。比如，Databrick為用戶提供了各種高級和低級的API接口 – 所謂高級接口，主要針對那些對數(shù)據(jù)科學(xué)或分布式系統(tǒng)不熟悉的用戶，使之同樣能從復(fù)雜的機器學(xué)習(xí)算法中受益。

應(yīng)者云集

如果說本次Spark Summit East大會帶來的影響，應(yīng)該就是CIO們，或者更確切地說是那些一直追蹤大數(shù)據(jù)技術(shù)發(fā)展的數(shù)據(jù)分析師們會認為Spark將是繼Hadoop之后的新里程碑。Databrick宣稱Spark大數(shù)據(jù)處理引擎將改變企業(yè)分析的形態(tài)（過去的情況是，諸如Cloudera一類的Hadoop提供商一直扮演著支撐的角色）。Databrick同樣讓與會者相信，即使那些“普通”（normal，先前舉行的Hadoop World大會上，Cloudera使用了這個詞）的公司，也能夠從Spark中受益，比如諾華制藥和Comcast，以及不那么有名的Automatic和Shopify公司。

對于Spark的贊美同樣來自于其他與會者。Tresata的創(chuàng)始人和首席執(zhí)行官Abhishek Mehta表示：“我認為Spark應(yīng)對了當(dāng)前大數(shù)據(jù)研究中的所有熱點問題?！备呤⒌腗att Glickman表示，Spark代表了未來發(fā)展的方向，將成為大數(shù)據(jù)分析的通用工具。Alteryx（致力于為普通用戶提供分析語言R和大數(shù)據(jù)分析能力）的首席運營官George Mattew則描述了在集成R和MapReduce時的遭遇。
“有人說，舊約中并沒有對地獄的具體描述。”Mathew回憶到：“但是，當(dāng)我們試圖將R和MapReduce集成時，卻有了切身體會。在引入其他通用的計算能力時，MapReduce的步伐是如此艱難?！?/span>

這聽起來非常刺耳，曾經(jīng)的大數(shù)據(jù)明星，如今被Spark的光芒所掩蓋 – 至少在某些大數(shù)據(jù)信徒看來，事實就是如此。