99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀Spark點(diǎn)燃近實(shí)時(shí)大數(shù)據(jù)之火_數(shù)據(jù)分析師
Spark點(diǎn)燃近實(shí)時(shí)大數(shù)據(jù)之火_數(shù)據(jù)分析師
2015-04-02
收藏

Spark點(diǎn)燃近實(shí)時(shí)大數(shù)據(jù)之火_數(shù)據(jù)分析師


在用戶體驗(yàn)達(dá)不到所宣傳效果之后，IT領(lǐng)域中必然會(huì)隨之出現(xiàn)“新的熱門事件”。目前的新熱門事件涉及大數(shù)據(jù)和對(duì)海量分布式數(shù)據(jù)的快速精準(zhǔn)分析。
在目前的大數(shù)據(jù)領(lǐng)域中，Hadoop被作為存儲(chǔ)和分配海量數(shù)據(jù)的軟件，而MapReduce則被作為處理這些海量數(shù)據(jù)的引擎。兩者整合在一起可以批處理一些對(duì)時(shí)效性沒(méi)有過(guò)高要求的數(shù)據(jù)。

那么對(duì)于近實(shí)時(shí)大數(shù)據(jù)分析應(yīng)當(dāng)怎么辦呢?作為最先進(jìn)的下一代開(kāi)源技術(shù)Apache Spark已經(jīng)為視頻、傳感器、交易等流數(shù)據(jù)的分析、機(jī)器學(xué)習(xí)、預(yù)測(cè)建模創(chuàng)造了條件。它們可以用于基因組研究、封包檢測(cè)、惡意軟件探測(cè)和物聯(lián)網(wǎng)。

Spark不僅可像MapReduce那樣用于批處理，對(duì)于需要與數(shù)據(jù)集進(jìn)行大量交互的算法，Spark還可以將這些運(yùn)算的中間結(jié)果存儲(chǔ)在緩存中。相比之下，在帶入系統(tǒng)進(jìn)行下一步處理前，MapReduce必須要將每步運(yùn)算的結(jié)果寫入磁盤。這種在內(nèi)存中對(duì)彈性分布式數(shù)據(jù)集(RDD)的快速處理可以說(shuō)是Apache Spark的核心能力。

Salient Federal Solutions公司一直致力于使用Spark為政府機(jī)構(gòu)開(kāi)發(fā)分析產(chǎn)品。該公司預(yù)測(cè)分析主任Dave Vennergrund稱：“一旦執(zhí)行對(duì)數(shù)據(jù)集的操作，它們能夠進(jìn)行相互連接，從而使得轉(zhuǎn)換能夠被迅速完成。加之它們能夠同時(shí)跨多臺(tái)機(jī)器做這一工作，這使得我們能夠迅速做出反應(yīng)?！?/span>

Spark的支持者認(rèn)為，與競(jìng)爭(zhēng)對(duì)手相比，Spark在擴(kuò)展性和速度方面都具有優(yōu)勢(shì)。突出表現(xiàn)為在小數(shù)據(jù)集升級(jí)為拍字節(jié)后，它們?nèi)匀荒軌虺錾毓ぷ?。?014年11月份的基準(zhǔn)競(jìng)賽中，Apache Spark整理100太字節(jié)數(shù)據(jù)的速度比Hadoop MapReduce快了三倍，并且其機(jī)器集群的規(guī)模是MapReduce的十分之一。

據(jù)軟件開(kāi)發(fā)公司Typesafe近期觀察顯示，對(duì)Spark感興趣的機(jī)構(gòu)在數(shù)量上正在不斷增長(zhǎng)。數(shù)據(jù)顯示，目前13%的受訪者正在使用Spark，約30%的受訪者正在對(duì)Spark進(jìn)行評(píng)估，20%的受訪者計(jì)劃在今年某一時(shí)候開(kāi)始使用Spark。另有6%的受訪者希望在2016年或更晚時(shí)候使用Spark。此外，28%的受訪者還對(duì)Spark不了解，認(rèn)為它們還不成熟。

Salient 的數(shù)據(jù)分析中心副總裁Cindy Walker稱：“對(duì)于政府來(lái)說(shuō)，他們正在進(jìn)行測(cè)試與評(píng)估。早期部署者都是那些有沙盒和研發(fā)預(yù)算的部門。我們的許多客戶現(xiàn)在對(duì)大數(shù)據(jù)部署、內(nèi)存分析、流解決方案都還沒(méi)有劃定能力底線。因此，我們目前正在使用Spark幫助他們?cè)O(shè)定合理的目標(biāo)?！?/span>

雖然Spark還無(wú)法取代MapReduce，但是它們最終將成為大數(shù)據(jù)分析領(lǐng)域的一部分，推動(dòng)數(shù)據(jù)被以更快的速度處理。

Apache Spark生態(tài)環(huán)境有以下幾個(gè)組成部分：

Spark Core：平臺(tái)的底層執(zhí)行引擎，支持大量應(yīng)用以及Java、Scala和Python等應(yīng)用程序接口(API)。

Spark SQL(結(jié)構(gòu)化查詢語(yǔ)言) ：用戶可通過(guò)其探究數(shù)據(jù)。

Spark Streaming：可對(duì)來(lái)自推特的流數(shù)據(jù)進(jìn)行分析，并且讓Spark具備批處理能力。

機(jī)器學(xué)習(xí)庫(kù) (MLlib)：一種分布式機(jī)器學(xué)習(xí)架構(gòu)，交付高質(zhì)量算法的速度比MapReduce快100倍。

Graph X：幫助用戶以圖形的形式表現(xiàn)文本和列表數(shù)據(jù)，找出數(shù)據(jù)中的不同關(guān)系。

SparkR：針對(duì)R統(tǒng)計(jì)語(yǔ)言的程序包。R用戶可通過(guò)其在R殼中使用Spark功能。

BlinkDB：大型并行引擎。允許用戶對(duì)海量數(shù)據(jù)執(zhí)行類SQL查詢，在速度重要性高于精確性的情況下非常有用。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }