99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀Hadoop、Hive、Spark之間是什么關(guān)系
Hadoop、Hive、Spark之間是什么關(guān)系
2017-06-12
收藏

Hadoop、Hive、Spark之間是什么關(guān)系

大數(shù)據(jù)本身是個(gè)很寬泛的概念,Hadoop生態(tài)圈(或者泛生態(tài)圈)基本上都是為了處理超過單機(jī)尺度的數(shù)據(jù)處理而誕生的。你可以把它比作一個(gè)廚房所以需要的各種工具。鍋碗瓢盆,各有各的用處,互相之間又有重合。你可以用湯鍋直接當(dāng)碗吃飯喝湯,你可以用小刀或者刨子去皮。但是每個(gè)工具有自己的特性,雖然奇怪的組合也能工作,但是未必是最佳選擇。

大數(shù)據(jù),首先你要能存的下大數(shù)據(jù)

傳統(tǒng)的文件系統(tǒng)是單機(jī)的,不能橫跨不同的機(jī)器。HDFS(Hadoop Distributed FileSystem)的設(shè)計(jì)本質(zhì)上是為了大量的數(shù)據(jù)能橫跨成百上千臺(tái)機(jī)器,但是你看到的是一個(gè)文件系統(tǒng)而不是很多文件系統(tǒng)。比如你說我要獲取/hdfs/tmp/file1的數(shù)據(jù),你引用的是一個(gè)文件路徑,但是實(shí)際的數(shù)據(jù)存放在很多不同的機(jī)器上。你作為用戶,不需要知道這些,就好比在單機(jī)上你不關(guān)心文件分散在什么磁道什么扇區(qū)一樣。HDFS為你管理這些數(shù)據(jù)。

存的下數(shù)據(jù)之后,你就開始考慮怎么處理數(shù)據(jù)。雖然HDFS可以為你整體管理不同機(jī)器上的數(shù)據(jù),但是這些數(shù)據(jù)太大了。一臺(tái)機(jī)器讀取成T上P的數(shù)據(jù)(很大的數(shù)據(jù)哦,比如整個(gè)東京熱有史以來所有高清電影的大小甚至更大),一臺(tái)機(jī)器慢慢跑也許需要好幾天甚至好幾周。對(duì)于很多公司來說,單機(jī)處理是不可忍受的,比如微博要更新24小時(shí)熱博,它必須在24小時(shí)之內(nèi)跑完這些處理。那么我如果要用很多臺(tái)機(jī)器處理,我就面臨了如何分配工作,如果一臺(tái)機(jī)器掛了如何重新啟動(dòng)相應(yīng)的任務(wù),機(jī)器之間如何互相通信交換數(shù)據(jù)以完成復(fù)雜的計(jì)算等等。這就是MapReduce / Tez / Spark的功能。MapReduce是第一代計(jì)算引擎,Tez和Spark是第二代。MapReduce的設(shè)計(jì),采用了很簡化的計(jì)算模型,只有Map和Reduce兩個(gè)計(jì)算過程(中間用Shuffle串聯(lián)),用這個(gè)模型,已經(jīng)可以處理大數(shù)據(jù)領(lǐng)域很大一部分問題了。

那什么是Map,什么是Reduce?

考慮如果你要統(tǒng)計(jì)一個(gè)巨大的文本文件存儲(chǔ)在類似HDFS上,你想要知道這個(gè)文本里各個(gè)詞的出現(xiàn)頻率。你啟動(dòng)了一個(gè)MapReduce程序。Map階段,幾百臺(tái)機(jī)器同時(shí)讀取這個(gè)文件的各個(gè)部分,分別把各自讀到的部分分別統(tǒng)計(jì)出詞頻,產(chǎn)生類似(hello, 12100次),(world,15214次)等等這樣的Pair(我這里把Map和Combine放在一起說以便簡化);這幾百臺(tái)機(jī)器各自都產(chǎn)生了如上的集合,然后又有幾百臺(tái)機(jī)器啟動(dòng)Reduce處理。Reducer機(jī)器A將從Mapper機(jī)器收到所有以A開頭的統(tǒng)計(jì)結(jié)果,機(jī)器B將收到B開頭的詞匯統(tǒng)計(jì)結(jié)果(當(dāng)然實(shí)際上不會(huì)真的以字母開頭做依據(jù),而是用函數(shù)產(chǎn)生Hash值以避免數(shù)據(jù)串化。因?yàn)轭愃芚開頭的詞肯定比其他要少得多,而你不希望數(shù)據(jù)處理各個(gè)機(jī)器的工作量相差懸殊)。然后這些Reducer將再次匯總,(hello,12100)+(hello,12311)+(hello,345881)= (hello,370292)。每個(gè)Reducer都如上處理,你就得到了整個(gè)文件的詞頻結(jié)果。

這看似是個(gè)很簡單的模型,但很多算法都可以用這個(gè)模型描述了。

Map+Reduce的簡單模型很黃很暴力,雖然好用,但是很笨重。第二代的Tez和Spark除了內(nèi)存Cache之類的新feature,本質(zhì)上來說,是讓Map/Reduce模型更通用,讓Map和Reduce之間的界限更模糊,數(shù)據(jù)交換更靈活,更少的磁盤讀寫,以便更方便地描述復(fù)雜算法,取得更高的吞吐量。

有了MapReduce,Tez和Spark之后,程序員發(fā)現(xiàn),MapReduce的程序?qū)懫饋碚媛闊?。他們希望簡化這個(gè)過程。這就好比你有了匯編語言,雖然你幾乎什么都能干了,但是你還是覺得繁瑣。你希望有個(gè)更高層更抽象的語言層來描述算法和數(shù)據(jù)處理流程。于是就有了Pig和Hive。Pig是接近腳本方式去描述MapReduce,Hive則用的是SQL。它們把腳本和SQL語言翻譯成MapReduce程序,丟給計(jì)算引擎去計(jì)算,而你就從繁瑣的MapReduce程序中解脫出來,用更簡單更直觀的語言去寫程序了。   

有了Hive之后,人們發(fā)現(xiàn)SQL對(duì)比Java有巨大的優(yōu)勢(shì)。一個(gè)是它太容易寫了。剛才詞頻的東西,用SQL描述就只有一兩行,MapReduce寫起來大約要幾十上百行。而更重要的是,非計(jì)算機(jī)背景的用戶終于感受到了愛:我也會(huì)寫SQL!于是數(shù)據(jù)分析人員終于從乞求工程師幫忙的窘境解脫出來,工程師也從寫奇怪的一次性的處理程序中解脫出來。大家都開心了。Hive逐漸成長成了大數(shù)據(jù)倉庫的核心組件。甚至很多公司的流水線作業(yè)集完全是用SQL描述,因?yàn)橐讓懸赘?,一看就懂,容易維護(hù)。

自從數(shù)據(jù)分析人員開始用Hive分析數(shù)據(jù)之后,它們發(fā)現(xiàn),Hive在MapReduce上跑,真雞巴慢!流水線作業(yè)集也許沒啥關(guān)系,比如24小時(shí)更新的推薦,反正24小時(shí)內(nèi)跑完就算了。但是數(shù)據(jù)分析,人們總是希望能跑更快一些。比如我希望看過去一個(gè)小時(shí)內(nèi)多少人在充氣娃娃頁面駐足,分別停留了多久,對(duì)于一個(gè)巨型網(wǎng)站海量數(shù)據(jù)下,這個(gè)處理過程也許要花幾十分鐘甚至很多小時(shí)。而這個(gè)分析也許只是你萬里長征的第一步,你還要看多少人瀏覽了跳蛋多少人看了拉赫曼尼諾夫的CD,以便跟老板匯報(bào),我們的用戶是猥瑣男悶騷女更多還是文藝青年/少女更多。你無法忍受等待的折磨,只能跟帥帥的工程師蟈蟈說,快,快,再快一點(diǎn)!

于是Impala,Presto,Drill誕生了(當(dāng)然還有無數(shù)非著名的交互SQL引擎,就不一一列舉了)。三個(gè)系統(tǒng)的核心理念是,MapReduce引擎太慢,因?yàn)樗ㄓ?,太?qiáng)壯,太保守,我們SQL需要更輕量,更激進(jìn)地獲取資源,更專門地對(duì)SQL做優(yōu)化,而且不需要那么多容錯(cuò)性保證(因?yàn)橄到y(tǒng)出錯(cuò)了大不了重新啟動(dòng)任務(wù),如果整個(gè)處理時(shí)間更短的話,比如幾分鐘之內(nèi))。這些系統(tǒng)讓用戶更快速地處理SQL任務(wù),犧牲了通用性穩(wěn)定性等特性。如果說MapReduce是大砍刀,砍啥都不怕,那上面三個(gè)就是剔骨刀,靈巧鋒利,但是不能搞太大太硬的東西。

這些系統(tǒng),說實(shí)話,一直沒有達(dá)到人們期望的流行度。因?yàn)檫@時(shí)候又兩個(gè)異類被造出來了。他們是Hive on Tez / Spark和SparkSQL。它們的設(shè)計(jì)理念是,MapReduce慢,但是如果我用新一代通用計(jì)算引擎Tez或者Spark來跑SQL,那我就能跑的更快。而且用戶不需要維護(hù)兩套系統(tǒng)。這就好比如果你廚房小,人又懶,對(duì)吃的精細(xì)程度要求有限,那你可以買個(gè)電飯煲,能蒸能煲能燒,省了好多廚具。

上面的介紹,基本就是一個(gè)數(shù)據(jù)倉庫的構(gòu)架了。底層HDFS,上面跑MapReduce/Tez/Spark,在上面跑Hive,Pig。或者HDFS上直接跑Impala,Drill,Presto。這解決了中低速數(shù)據(jù)處理的要求。

那如果我要更高速的處理呢?

如果我是一個(gè)類似微博的公司,我希望顯示不是24小時(shí)熱博,我想看一個(gè)不斷變化的熱播榜,更新延遲在一分鐘之內(nèi),上面的手段都將無法勝任。于是又一種計(jì)算模型被開發(fā)出來,這就是Streaming(流)計(jì)算。Storm是最流行的流計(jì)算平臺(tái)。流計(jì)算的思路是,如果要達(dá)到更實(shí)時(shí)的更新,我何不在數(shù)據(jù)流進(jìn)來的時(shí)候就處理了?比如還是詞頻統(tǒng)計(jì)的例子,我的數(shù)據(jù)流是一個(gè)一個(gè)的詞,我就讓他們一邊流過我就一邊開始統(tǒng)計(jì)了。流計(jì)算很牛逼,基本無延遲,但是它的短處是,不靈活,你想要統(tǒng)計(jì)的東西必須預(yù)先知道,畢竟數(shù)據(jù)流過就沒了,你沒算的東西就無法補(bǔ)算了。因此它是個(gè)很好的東西,但是無法替代上面數(shù)據(jù)倉庫和批處理系統(tǒng)。

還有一個(gè)有些獨(dú)立的模塊是KV Store,比如Cassandra,HBase,MongoDB以及很多很多很多很多其他的(多到無法想象)。所以KV Store就是說,我有一堆鍵值,我能很快速滴獲取與這個(gè)Key綁定的數(shù)據(jù)。比如我用身份證號(hào),能取到你的身份數(shù)據(jù)。這個(gè)動(dòng)作用MapReduce也能完成,但是很可能要掃描整個(gè)數(shù)據(jù)集。而KV Store專用來處理這個(gè)操作,所有存和取都專門為此優(yōu)化了。從幾個(gè)P的數(shù)據(jù)中查找一個(gè)身份證號(hào),也許只要零點(diǎn)幾秒。這讓大數(shù)據(jù)公司的一些專門操作被大大優(yōu)化了。比如我網(wǎng)頁上有個(gè)根據(jù)訂單號(hào)查找訂單內(nèi)容的頁面,而整個(gè)網(wǎng)站的訂單數(shù)量無法單機(jī)數(shù)據(jù)庫存儲(chǔ),我就會(huì)考慮用KV Store來存。KV Store的理念是,基本無法處理復(fù)雜的計(jì)算,大多沒法JOIN,也許沒法聚合,沒有強(qiáng)一致性保證(不同數(shù)據(jù)分布在不同機(jī)器上,你每次讀取也許會(huì)讀到不同的結(jié)果,也無法處理類似銀行轉(zhuǎn)賬那樣的強(qiáng)一致性要求的操作)。但是丫就是快。極快。

每個(gè)不同的KV Store設(shè)計(jì)都有不同取舍,有些更快,有些容量更高,有些可以支持更復(fù)雜的操作。必有一款適合你。

除此之外,還有一些更特制的系統(tǒng)/組件,比如Mahout是分布式機(jī)器學(xué)習(xí)庫,Protobuf是數(shù)據(jù)交換的編碼和庫,ZooKeeper是高一致性的分布存取協(xié)同系統(tǒng),等等。

有了這么多亂七八糟的工具,都在同一個(gè)集群上運(yùn)轉(zhuǎn),大家需要互相尊重有序工作。所以另外一個(gè)重要組件是,調(diào)度系統(tǒng)?,F(xiàn)在最流行的是Yarn。你可以把他看作中央管理,好比你媽在廚房監(jiān)工,哎,你妹妹切菜切完了,你可以把刀拿去殺雞了。只要大家都服從你媽分配,那大家都能愉快滴燒菜。

你可以認(rèn)為,大數(shù)據(jù)生態(tài)圈就是一個(gè)廚房工具生態(tài)圈。為了做不同的菜,中國菜,日本菜,法國菜,你需要各種不同的工具。而且客人的需求正在復(fù)雜化,你的廚具不斷被發(fā)明,也沒有一個(gè)萬用的廚具可以處理所有情況,因此它會(huì)變的越來越復(fù)雜。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }