99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁職業(yè)發(fā)展大數(shù)據(jù)存儲平臺之異構(gòu)存儲實踐深度解讀
大數(shù)據(jù)存儲平臺之異構(gòu)存儲實踐深度解讀
2018-06-09
收藏

數(shù)據(jù)存儲平臺之異構(gòu)存儲實踐深度解讀

經(jīng)常做數(shù)據(jù)處理的伙伴們肯定會有這樣一種體會:最近一周內(nèi)的數(shù)據(jù)會被經(jīng)常使用到,而比如最近幾周的數(shù)據(jù)使用率會有下降,每周僅僅被訪問幾次;在比如3月以前的數(shù)據(jù)使用率會大幅下滑,存儲的數(shù)據(jù)可能一個月才被訪問幾次。

\
  這就產(chǎn)生了一種熱和冷數(shù)據(jù),對需要頻繁訪問的數(shù)據(jù)我們稱之為“熱”數(shù)據(jù),反之我們稱之為”冷”數(shù)據(jù),而處于中間的數(shù)據(jù)我們稱之為”溫”數(shù)據(jù)。

  在數(shù)據(jù)被視為公司資產(chǎn)的時代,每個公司基本都會保存最近數(shù)年的數(shù)據(jù),而這些數(shù)據(jù)尤其是冷數(shù)據(jù)的累積也給存儲平臺帶來了甜蜜的負擔。下面就來分享下如何解決這些“負擔”。

  首先如何定義數(shù)據(jù)為冷熱數(shù)據(jù)呢,eBay公司根據(jù)數(shù)據(jù)年齡和使用頻率來定義不失為一種辦法,下圖為eBay關(guān)于數(shù)據(jù)溫度的定義。

\
  從hadoop2.6開始,HDFS更好的支持了這種冷熱數(shù)據(jù)的分離存儲,我們可以按HDFS路徑指定其存儲策略,目前HDFS支持的存儲策略有:HOT、WARM、COLD、All_SSD、One_SSD、Lazy_Persist,我們著重介紹SSD相關(guān)的存儲策略,具體如下:

  All_SSD - 用于將所有副本存儲在SSD中

  One_SSD - 用于將其中一個副本存儲在SSD中。剩余的副本存儲在DISK中

  Lazy_Persist - 用于在內(nèi)存中寫入單個副本的塊。該副本首先寫入RAM_DISK,然后在DISK中延續(xù)

  創(chuàng)建文件或目錄時,其存儲策略未指定??梢允褂谩癶dfs dfsadmin -setStoragePolicy ”命令指定存儲策略。文件或目錄的有效存儲策略由以下規(guī)則解決。

  如果文件或目錄特定于存儲策略,則返回。

  對于未指定的文件或目錄,如果是根目錄,則返回默認存儲策略。否則,返回其父級的有效存儲策略。

  我們在實踐過程中,因為有一部分實時分析的需求,一部分是歷史數(shù)據(jù)的保存,歷史數(shù)據(jù)很少參與計算,只需偶爾查詢會用到。那么對于歷史數(shù)據(jù)來說,我們可以使用一批計算能力較弱,而硬盤較多、容量較大的SATA盤,而實時分析的場景,需要高性能的計算力和硬盤吞吐能力,我們選用SSD硬盤來支撐,此外HDFS還提供了內(nèi)存存儲類型,但我們的內(nèi)存還是有限,暫未使用到。實際上,我們的每臺服務器的12塊硬盤slot中有3個是SSD,其余9個是SATA。我們實踐結(jié)果表明,使用這種策略的效果比以前好了4倍以上。

  要使用存儲策略,我們需要在在每個數(shù)據(jù)節(jié)點上hdfs-site.xml中參數(shù)dfs.datanode.data.dir配置的由逗號分隔的存儲位置使用的存儲類型進行標記。例如:

  使用[DISK]file:///dfs/dn來標識這個存儲位置為普通硬盤

  使用[SSD]file:/// dfs/dn來標識這個存儲位置為SSD硬盤

  此外,默認情況下的存儲格式為DISK。

  下面介紹設置存儲策略命令:

\
  總結(jié)下:我們可以在一個限定的Hadoop集群中進行設置不同的磁盤使用不同的存儲策略,還可以利用API將數(shù)據(jù)存儲到不同的存儲層。HDFS設計的詳細存儲類型和存儲策略如下表,有興趣的同學可以看看:

\
  注:HDFS新加的ARCHIVE存儲類型, 它是一種支持PB級的高容量存儲但很少的 計算能力,用于歸檔數(shù)據(jù)使用,從上圖可以看出冷數(shù)據(jù)適合使用archive存儲類型。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }