99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁職業(yè)發(fā)展大數(shù)據(jù)存儲(chǔ)平臺(tái)之異構(gòu)存儲(chǔ)實(shí)踐深度解讀
大數(shù)據(jù)存儲(chǔ)平臺(tái)之異構(gòu)存儲(chǔ)實(shí)踐深度解讀
2018-06-09
收藏

大數(shù)據(jù)存儲(chǔ)平臺(tái)之異構(gòu)存儲(chǔ)實(shí)踐深度解讀

經(jīng)常做數(shù)據(jù)處理的伙伴們肯定會(huì)有這樣一種體會(huì)：最近一周內(nèi)的數(shù)據(jù)會(huì)被經(jīng)常使用到，而比如最近幾周的數(shù)據(jù)使用率會(huì)有下降，每周僅僅被訪問幾次;在比如3月以前的數(shù)據(jù)使用率會(huì)大幅下滑，存儲(chǔ)的數(shù)據(jù)可能一個(gè)月才被訪問幾次。

\
　　這就產(chǎn)生了一種熱和冷數(shù)據(jù)，對(duì)需要頻繁訪問的數(shù)據(jù)我們稱之為“熱”數(shù)據(jù)，反之我們稱之為”冷”數(shù)據(jù)，而處于中間的數(shù)據(jù)我們稱之為”溫”數(shù)據(jù)。

　　在數(shù)據(jù)被視為公司資產(chǎn)的時(shí)代，每個(gè)公司基本都會(huì)保存最近數(shù)年的數(shù)據(jù)，而這些數(shù)據(jù)尤其是冷數(shù)據(jù)的累積也給存儲(chǔ)平臺(tái)帶來了甜蜜的負(fù)擔(dān)。下面就來分享下如何解決這些“負(fù)擔(dān)”。

　　首先如何定義數(shù)據(jù)為冷熱數(shù)據(jù)呢，eBay公司根據(jù)數(shù)據(jù)年齡和使用頻率來定義不失為一種辦法，下圖為eBay關(guān)于數(shù)據(jù)溫度的定義。

\
　　從hadoop2.6開始，HDFS更好的支持了這種冷熱數(shù)據(jù)的分離存儲(chǔ)，我們可以按HDFS路徑指定其存儲(chǔ)策略，目前HDFS支持的存儲(chǔ)策略有：HOT、WARM、COLD、All_SSD、One_SSD、Lazy_Persist,我們著重介紹SSD相關(guān)的存儲(chǔ)策略，具體如下：

　　All_SSD - 用于將所有副本存儲(chǔ)在SSD中

　　One_SSD - 用于將其中一個(gè)副本存儲(chǔ)在SSD中。剩余的副本存儲(chǔ)在DISK中

　　Lazy_Persist - 用于在內(nèi)存中寫入單個(gè)副本的塊。該副本首先寫入RAM_DISK，然后在DISK中延續(xù)

　　創(chuàng)建文件或目錄時(shí)，其存儲(chǔ)策略未指定。可以使用“hdfs dfsadmin -setStoragePolicy ”命令指定存儲(chǔ)策略。文件或目錄的有效存儲(chǔ)策略由以下規(guī)則解決。

　　如果文件或目錄特定于存儲(chǔ)策略，則返回。

　　對(duì)于未指定的文件或目錄，如果是根目錄，則返回默認(rèn)存儲(chǔ)策略。否則，返回其父級(jí)的有效存儲(chǔ)策略。

　　我們在實(shí)踐過程中，因?yàn)橛幸徊糠謱?shí)時(shí)分析的需求，一部分是歷史數(shù)據(jù)的保存，歷史數(shù)據(jù)很少參與計(jì)算，只需偶爾查詢會(huì)用到。那么對(duì)于歷史數(shù)據(jù)來說，我們可以使用一批計(jì)算能力較弱，而硬盤較多、容量較大的SATA盤，而實(shí)時(shí)分析的場景，需要高性能的計(jì)算力和硬盤吞吐能力，我們選用SSD硬盤來支撐，此外HDFS還提供了內(nèi)存存儲(chǔ)類型，但我們的內(nèi)存還是有限，暫未使用到。實(shí)際上，我們的每臺(tái)服務(wù)器的12塊硬盤slot中有3個(gè)是SSD，其余9個(gè)是SATA。我們實(shí)踐結(jié)果表明，使用這種策略的效果比以前好了4倍以上。

　　要使用存儲(chǔ)策略，我們需要在在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上hdfs-site.xml中參數(shù)dfs.datanode.data.dir配置的由逗號(hào)分隔的存儲(chǔ)位置使用的存儲(chǔ)類型進(jìn)行標(biāo)記。例如：

　　使用[DISK]file:///dfs/dn來標(biāo)識(shí)這個(gè)存儲(chǔ)位置為普通硬盤

　　使用[SSD]file:/// dfs/dn來標(biāo)識(shí)這個(gè)存儲(chǔ)位置為SSD硬盤

　　此外，默認(rèn)情況下的存儲(chǔ)格式為DISK。

　　下面介紹設(shè)置存儲(chǔ)策略命令：

\
　　總結(jié)下：我們可以在一個(gè)限定的Hadoop集群中進(jìn)行設(shè)置不同的磁盤使用不同的存儲(chǔ)策略，還可以利用API將數(shù)據(jù)存儲(chǔ)到不同的存儲(chǔ)層。HDFS設(shè)計(jì)的詳細(xì)存儲(chǔ)類型和存儲(chǔ)策略如下表，有興趣的同學(xué)可以看看：

\
　　注：HDFS新加的ARCHIVE存儲(chǔ)類型, 它是一種支持PB級(jí)的高容量存儲(chǔ)但很少的 計(jì)算能力，用于歸檔數(shù)據(jù)使用，從上圖可以看出冷數(shù)據(jù)適合使用archive存儲(chǔ)類型。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }