99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀Spark是什么?用Spark進(jìn)行數(shù)據(jù)分析
Spark是什么?用Spark進(jìn)行數(shù)據(jù)分析
2018-07-18
收藏

Spark是什么?用Spark進(jìn)行數(shù)據(jù)分析

1什么是Apache Spark?

Apache Spark是一個為速度和通用目標(biāo)設(shè)計的集群計算平臺。

從速度的角度看,Spark從流行的MapReduce模型繼承而來,可以更有效地支持多種類型的計算,如交互式查詢和流處理。速度在大數(shù)據(jù)集的處理中非常重要,它可以決定用戶可以交互式地處理數(shù)據(jù),還是等幾分鐘甚至幾小時。Spark為速度提供的一個重要特性是其可以在內(nèi)存中運(yùn)行計算,即使對基于磁盤的復(fù)雜應(yīng)用,Spark依然比MapReduce更有效。

從通用性來說,Spark可以處理之前需要多個獨(dú)立的分布式系統(tǒng)來處理的任務(wù),這些任務(wù)包括批處理應(yīng)用、交互式算法、交互式查詢和數(shù)據(jù)流。通過用同一個引擎支持這些任務(wù),Spark使得合并不同的處理類型變得簡單,而合并操作在生產(chǎn)數(shù)據(jù)分析中頻繁使用。而且,Spark降低了維護(hù)不同工具的管理負(fù)擔(dān)。

Spark被設(shè)計的高度易訪問,用Python、Java、Scala和SQL提供簡單的API,而且提供豐富的內(nèi)建庫。Spark也與其他大數(shù)據(jù)工具進(jìn)行了集成。特別地,Spark可以運(yùn)行在Hadoop集群上,可以訪問任何Hadoop的數(shù)據(jù)源,包括Cassandra。2Spark 核心組件

Spark核心組件包含Spark的基本功能,有任務(wù)調(diào)度組件、內(nèi)存管理組件、容錯恢復(fù)組件、與存儲系統(tǒng)交互的組件等。Spark核心組件提供了定義彈性分布式數(shù)據(jù)集(resilient distributed datasets,RDDs)的API,這組API是Spark主要的編程抽象。RDDs表示分布在多個不同機(jī)器節(jié)點(diǎn)上,可以被并行處理的數(shù)據(jù)集合。Spark核心組件提供許多API來創(chuàng)建和操作這些集合。

Spark SQLSpark SQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的包。它使得可以像Hive查詢語言(Hive Query Language, HQL)一樣通過SQL語句來查詢數(shù)據(jù),支持多種數(shù)據(jù)源,包括Hive表、Parquet和JSON。除了為Spark提供一個SQL接口外,Spark SQL允許開發(fā)人員將SQL查詢和由RDDs通過Python、Java和Scala支持的數(shù)據(jù)編程操作混合進(jìn)一個單一的應(yīng)用中,進(jìn)而將SQL與復(fù)雜的分析結(jié)合。與計算密集型環(huán)境緊密集成使得Spark SQL不同于任何其他開源的數(shù)據(jù)倉庫工具。Spark SQL在Spark 1.0版本中引入Spark。

Shark是一個較老的由加利福尼亞大學(xué)和伯克利大學(xué)開發(fā)的Spark上的SQL項目,通過修改Hive而運(yùn)行在Spark上?,F(xiàn)在已經(jīng)被Spark SQL取代,以提供與Spark引擎和API更好的集成。

Spark流(Spark Streaming)Spark流作為Spark的一個組件,可以處理實時流數(shù)據(jù)。流數(shù)據(jù)的例子有生產(chǎn)環(huán)境的Web服務(wù)器生成的日志文件,用戶向一個Web服務(wù)請求包含狀態(tài)更新的消息。Spark流提供一個和Spark核心RDD API非常匹配的操作數(shù)據(jù)流的API,使得編程人員可以更容易地了解項目,并且可以在操作內(nèi)存數(shù)據(jù)、磁盤數(shù)據(jù)、實時數(shù)據(jù)的應(yīng)用之間快速切換。Spark流被設(shè)計為和Spark核心組件提供相同級別的容錯性,吞吐量和可伸縮性。

MLlibSpark包含一個叫做MLlib的關(guān)于機(jī)器學(xué)習(xí)的庫。MLlib提供多種類型的機(jī)器學(xué)習(xí)算法,包括分類、回歸、聚類協(xié)同過濾,并支持模型評估和數(shù)據(jù)導(dǎo)入功能。MLlib也提供一個低層的機(jī)器學(xué)習(xí)原語,包括一個通用的梯度下降優(yōu)化算法。所有這些方法都可以應(yīng)用到一個集群上。
GraphXGraphX是一個操作圖(如社交網(wǎng)絡(luò)的好友圖)和執(zhí)行基于圖的并行計算的庫。與Spark流和Spark SQL類似,GraphX擴(kuò)展了Spark RDD API,允許我們用和每個節(jié)點(diǎn)和邊綁定的任意屬性來創(chuàng)建一個有向圖。GraphX也提供了各種各樣的操作圖的操作符,以及關(guān)于通用圖算法的一個庫。

集群管理器Cluster Managers在底層,Spark可以有效地從一個計算節(jié)點(diǎn)擴(kuò)展到成百上千個節(jié)點(diǎn)。為了在最大化靈活性的同時達(dá)到這個目標(biāo),Spark可以運(yùn)行在多個集群管理器上,包括Hadoop YARN,Apache Mesos和一個包含在Spark中的叫做獨(dú)立調(diào)度器的簡易的集群管理器。如果你在一個空的機(jī)器群上安裝Spark,獨(dú)立調(diào)度器提供一個簡單的方式;如果你已經(jīng)有一個Hadoop YARN或Mesos集群,Spark支持你的應(yīng)用允許在這些集群管理器上。第七章給出了不同的選擇,以及如何選擇正確的集群管理器。3誰使用Spark?用Spark做什么?由于Spark是一個面向集群計算的通用框架,可用于許多不同的應(yīng)用。使用者主要有兩種:數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。我們仔細(xì)地分析一下這兩種人和他們使用Spark的方式。明顯地,典型的使用案例是不同的,但我們可以將他們粗略地分為兩類,數(shù)據(jù)科學(xué)和數(shù)據(jù)應(yīng)用。

數(shù)據(jù)科學(xué)的任務(wù)數(shù)據(jù)科學(xué),近幾年出現(xiàn)的一門學(xué)科,專注于分析數(shù)據(jù)。盡管沒有一個標(biāo)準(zhǔn)的定義,我們認(rèn)為一個數(shù)據(jù)科學(xué)家的主要工作是分析和建模數(shù)據(jù)。數(shù)據(jù)科學(xué)家可能會SQL,統(tǒng)計學(xué),預(yù)測模型(機(jī)器學(xué)習(xí)),用Python、MATLAB或R編程。數(shù)據(jù)科學(xué)家能將數(shù)據(jù)格式化,用于進(jìn)一步的分析。

數(shù)據(jù)科學(xué)家為了回答一個問題或進(jìn)行深入研究,會使用相關(guān)的技術(shù)分析數(shù)據(jù)。通常,他們的工作包含特殊的分析,所以他們使用交互式shell,以使得他們能在最短的時間內(nèi)看到查詢結(jié)果和代碼片段。Spark的速度和簡單的API接口很好地符合這個目標(biāo),它的內(nèi)建庫意味著很多算法可以隨時使用。

Spark通過若干組件支持不同的數(shù)據(jù)科學(xué)任務(wù)。Spark shell使得用Python或Scala進(jìn)行交互式數(shù)據(jù)分析變得簡單。Spark SQL也有一個獨(dú)立的SQL shell,可以用SQL進(jìn)行數(shù)據(jù)分析,也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib庫支持機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。而且,支持調(diào)用外部的MATLAB或R語言編寫的程序。Spark使得數(shù)據(jù)科學(xué)家可以用R或Pandas等工具處理包含大量數(shù)據(jù)的問題。

有時,經(jīng)過初始的數(shù)據(jù)處理階段后,數(shù)據(jù)科學(xué)家的工作將被產(chǎn)品化,擴(kuò)展,加固(容錯性),進(jìn)而成為一個生產(chǎn)數(shù)據(jù)處理應(yīng)用,作為商業(yè)應(yīng)用的一個組件。例如,一個數(shù)據(jù)科學(xué)家的研究成果可能會產(chǎn)生一個產(chǎn)品推薦系統(tǒng),集成到一個web應(yīng)用上,用來向用戶生成產(chǎn)品建議。通常由另外的人員(如工程師)對數(shù)據(jù)科學(xué)家的工作進(jìn)行產(chǎn)品化。

數(shù)據(jù)處理應(yīng)用Spark的另外一個主要的使用可以從工程師的角度進(jìn)行描述。在這里,工程師指使用Spark來構(gòu)建生產(chǎn)數(shù)據(jù)處理應(yīng)用的大量的軟件開發(fā)者。這些開發(fā)者了解軟件工程的概念和原則,如封裝、接口設(shè)計和面向?qū)ο缶幊?。他們通常有計算機(jī)學(xué)科的學(xué)位。他們通過自己的軟件工程技能來設(shè)計和構(gòu)建實現(xiàn)某個商業(yè)使用場景的軟件系統(tǒng)。

對工程師而言,Spark提供了一個簡單的方式在集群之間并行化這些應(yīng)用,隱藏了分布式系統(tǒng)、網(wǎng)絡(luò)通信和容錯處理的復(fù)雜性。系統(tǒng)使得工程師在實現(xiàn)任務(wù)的同時,有充足的權(quán)限監(jiān)控、檢查和調(diào)整應(yīng)用。API的模塊特性使得重用已有工作和本地測試變得簡單。

Spark用戶使用Spark作為其數(shù)據(jù)處理應(yīng)用,因為他提供了豐富的功能,易于學(xué)習(xí)和使用,而且成熟可靠。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }