99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀Hadoop數(shù)據(jù)分析處理技術(shù)解析
Hadoop數(shù)據(jù)分析處理技術(shù)解析
2015-09-30
收藏

Hadoop數(shù)據(jù)分析處理技術(shù)解析


數(shù)據(jù)的分析是大數(shù)據(jù)處理的核心。傳統(tǒng)數(shù)據(jù)分析主要是針對結(jié)構(gòu)化數(shù)據(jù)，其大致過程為：首先利用數(shù)據(jù)庫存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，在此基礎(chǔ)上構(gòu)建數(shù)據(jù)倉庫，根據(jù)需要再構(gòu)建相應(yīng)立方體并進(jìn)行聯(lián)機(jī)分析處理。這一過程在處理相對較少的結(jié)構(gòu)化數(shù)據(jù)時(shí)非常高效。但對于大數(shù)據(jù)而言，分析技術(shù)面臨3 個(gè)直觀問題：大容量數(shù)據(jù)、多格式數(shù)據(jù)及分析速度，這使得標(biāo)準(zhǔn)存儲(chǔ)技術(shù)無法對大數(shù)據(jù)進(jìn)行存儲(chǔ)，從而需要引進(jìn)更加合理的分析平臺(tái)進(jìn)行大數(shù)據(jù)分析。目前，開源的Hadoop 是廣泛應(yīng)用的大數(shù)據(jù)處理技術(shù)，它也是分析處理大數(shù)據(jù)的核心技術(shù)。
　　Hadoop是一個(gè)基于Java的分布式密集數(shù)據(jù)處理和數(shù)據(jù)分析的軟件框架，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲(chǔ)。其基本工作原理為：將規(guī)模巨大的數(shù)據(jù)分解成較小、易訪問的批量數(shù)據(jù)并分發(fā)到多臺(tái)服務(wù)器來分析。主要包括文件系統(tǒng)(HDFS)、數(shù)據(jù)處理(MapReduce)兩部分功能模塊，最底層是HDFS 用來存儲(chǔ)Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件，HDFS 上一層是MapReduce 引擎，該引擎由Job Trackers 和Task Trackers 組成。其組成架構(gòu)如圖所示：


　　                                    圖 Hadoop組成架構(gòu)圖
　　鑒于商用的硬件集群上。所謂商用硬件并非低端硬件，其故障率比低端硬件要低很多。Hadoop 不需要運(yùn)行在價(jià)格昂貴并且高度可靠的硬件上，即使對于節(jié)點(diǎn)故障的幾率較高的龐大集群，HDFS在遇到故障時(shí)仍能夠繼續(xù)運(yùn)行且不讓用戶察覺到明顯的中斷，這種設(shè)計(jì)降低了對機(jī)器的維護(hù)成本，尤其是在用戶管理上百臺(tái)甚至上千臺(tái)機(jī)器時(shí)。
　　Hadoop 的設(shè)計(jì)是基于一次寫入、多次讀取的高效訪問模式。每次對數(shù)據(jù)的分析會(huì)涉及到數(shù)據(jù)所在的整個(gè)數(shù)據(jù)集，這種高數(shù)據(jù)的吞吐量會(huì)造成高的時(shí)間延遲，對于低延遲的數(shù)據(jù)訪問，HBase是更好的選擇。HDFS 采用master/slave 的構(gòu)架，即一個(gè)HDFS集群由一個(gè)NameNode(master)和多個(gè)DataNode(slave)組成。NameNode 是一個(gè)中心服務(wù)器，負(fù)責(zé)管理HDFS 的命名空間，并維護(hù)HDFS 的所有文件及目錄。這些信息以命名空間鏡像文件和編輯日志文件的形式永久地保存在本地磁盤上。它還記錄著每個(gè)文件中各個(gè)塊所在的DataNode 信息，但不永久保存塊的位置信息，因?yàn)镈ataNode 會(huì)在系統(tǒng)啟動(dòng)時(shí)重新建立新的位置信息。同時(shí)，NameCode 還負(fù)責(zé)控制外部Client 的訪問。
　　DataNode 是HDFS 的工作節(jié)點(diǎn)，在集群中一般為一個(gè)機(jī)器節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理節(jié)點(diǎn)上附帶的存儲(chǔ)。它們根據(jù)客戶端需要或NameNode 調(diào)度存儲(chǔ)并檢索數(shù)據(jù)塊(Block)，執(zhí)行創(chuàng)建、刪除和復(fù)制數(shù)據(jù)塊的命令，并定期向NameNode 發(fā)送存儲(chǔ)數(shù)據(jù)塊列表的動(dòng)態(tài)信息，NameNode 獲取每個(gè)DataNode 的動(dòng)態(tài)信息并據(jù)此驗(yàn)證塊映射和文件系統(tǒng)元數(shù)據(jù)。
　　3.2 MapReduce
　　MapReduce是用于處理大數(shù)據(jù)的軟件框架。其核心設(shè)計(jì)思想為：將問題分塊處理，把計(jì)算推到數(shù)據(jù)而非把數(shù)據(jù)推向計(jì)算。最簡單的MapReduce應(yīng)用程序至少包含3 個(gè)部分：Map函數(shù)、Reduce 函數(shù)和main函數(shù)，其模型相對簡單，將用戶的原始數(shù)據(jù)進(jìn)行分塊，然后交給不同的Map任務(wù)區(qū)執(zhí)行Map函數(shù)處理輸出中間結(jié)果，Reduce函數(shù)讀取數(shù)據(jù)列表并對數(shù)據(jù)進(jìn)行排序并輸出最終結(jié)果。其流程如圖所示：
　　3.3 Hadoop 的優(yōu)勢及問題
　　Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，同時(shí)是以一種可靠、高效、可伸縮的方式進(jìn)行處理?？煽渴且?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理;高效是因?yàn)樗圆⑿械姆绞焦ぷ?，通過并行處理加快處理速度;可伸縮是說它能夠處理PB 級數(shù)據(jù)。
　　但與其他新興科技一樣，Hadoop 同樣面臨一些需要解決的問題。(1)目前Hadoop 缺乏企業(yè)級的數(shù)據(jù)保護(hù)功能，開發(fā)人員必須手動(dòng)設(shè)置HDFS 的數(shù)據(jù)復(fù)制參數(shù)， 而依賴開發(fā)人員來確定復(fù)制參數(shù)很可能會(huì)導(dǎo)致對存儲(chǔ)空間的浪費(fèi)。(2)Hadoop 需要投資建設(shè)專用的計(jì)算集群，但這通常會(huì)產(chǎn)生獨(dú)立存儲(chǔ)、計(jì)算資源以及存儲(chǔ)或CPU 資源利用問題，且這種存儲(chǔ)在與其他程序的共享問題中也存在兼容性問題。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }