99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時代分布式文件系統(tǒng)HDFS概念及工作機制的簡單介紹
分布式文件系統(tǒng)HDFS概念及工作機制的簡單介紹
2020-07-17
收藏

HDFS 全稱為Hadoop Distributed File System，是 hadoop 分布式文件系統(tǒng)，具體來說，是指被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)(Distributed File System)。最主要的作用是作為 Hadoop 生態(tài)中各系統(tǒng)的存儲服務。HDFS是Hadoop項目的核心子項目，為分布式計算中，數(shù)據(jù)存儲管理的基礎，HDFS是基于流數(shù)據(jù)模式訪問和處理超大文件的需求被開發(fā)出來的，能夠在廉價的商用服務器上運行。HDFS 具有高容錯性、高可靠性、高可擴展性、高獲得性、高吞吐率等特征，這些特征使得HDFS為海量數(shù)據(jù)提供了不怕故障的存儲，從而為超大數(shù)據(jù)集(Large Data Set)的應用處理帶來了很多便利。

一、HDFS特征

高度容錯性：HDFS 最核心的架構目標是，錯誤檢測和快速、自動的恢復 。數(shù)據(jù)會自動保存多個副本。它通過增加副本的形式，而且就算某一副本丟失，HDFS也能自動恢復。

支持大規(guī)模數(shù)據(jù)集： HDFS 應用具有很大的數(shù)據(jù)集，可以支持整體上高的數(shù)據(jù)傳輸帶寬，并且能夠支撐數(shù)以千萬集的文件。

支持流式讀取數(shù)據(jù)： 一次寫入，多次讀取。而且文件一旦寫入，就不能進行修改，只能追加。這樣很好的保證了數(shù)據(jù)的一致性。

高吞吐量：吞吐量是指單位時間內(nèi)完成的工作量。HDFS通過并行處理數(shù)據(jù)，從而大大減少了處理時間，實現(xiàn)了高吞吐量。

移動計算而非移動數(shù)據(jù)：一個應用的請求，如果離它操作的數(shù)據(jù)越近就會越高效，HDFS會把數(shù)據(jù)位置暴露給計算框架， 提供了將它們自己移動到數(shù)據(jù)附近的接口。

異構軟硬件平臺間的可移植性：平臺的可移植性，方便用戶也方便 HDFS 作為大規(guī)模數(shù)據(jù)應用平臺的推廣。

二、HDFS 常用命令參數(shù)

 

-help   輸出這個命令參數(shù)手冊
-ls   顯示目錄信息
-mkdir    在hdfs上創(chuàng)建目錄
-moveFromLocal     從本地剪切粘貼到hdfs
-moveToLocal       從hdfs剪切粘貼到本地
--appendToFile   追加一個文件到已經(jīng)存在的文件末尾
-cat   顯示文件內(nèi)容  
-tail       顯示一個文件的末尾
-text   以字符形式打印一個文件的內(nèi)容
-chgrp、-chmod、-chown 同linux文件系統(tǒng)中的用法，對文件所屬權限
-copyFromLocal   從本地文件系統(tǒng)中拷貝文件到hdfs路徑去
-copyToLocal     從hdfs拷貝到本地
-cp 從hdfs的一個路徑拷貝hdfs的另一個路徑
-mv 在hdfs目錄中移動文件
-get 等同于copyToLocal，就是從hdfs下載文件到本地
-getmerge 合并下載多個文件
-put 等同于copyFromLocal
-rm 刪除文件或文件夾
-rmdir 刪除空目錄
-df 統(tǒng)計文件系統(tǒng)的可用空間信息
-du 統(tǒng)計文件夾的大小信息
-count 統(tǒng)計一個指定目錄下的文件節(jié)點數(shù)量
-setrep 設置hdfs中文件的副本數(shù)量

 

三、HDFS工作機制

1. HDFS集群包括兩大角色：NameNode、DataNode

2. NameNode負責管理整個文件系統(tǒng)的元數(shù)據(jù)

3. DataNode 負責管理用戶的文件數(shù)據(jù)塊

4. 文件會按照固定的大小(blocksize)切分成若干塊后，分布式存儲于若干臺datanode上

5. 每一個文件塊能夠有多個副本，并存放在不同的datanode上

6. Datanode定期會向Namenode匯報自身保存的文件block信息，而namenode就會負責保持文件的副本數(shù)量

7. HDFS的內(nèi)部工作機制對客戶端保持透明，客戶端請求訪問HDFS都是以通過向namenode申請進行的

HDFS文件寫入時：首先要跟namenode通信以確認可以寫文件并獲得接收文件block的datanode，然后，客戶端按順序?qū)⑽募饌€block傳遞給相應datanode，并由接收到block的datanode負責向其他datanode復制block的副本

HDFS文件讀?。簩⒁x取的文件路徑發(fā)送給namenode，namenode獲取文件的元信息(主要是block的存放位置信息)返回給客戶端，客戶端根據(jù)返回的信息找到相應datanode逐個獲取文件的block并在客戶端本地進行數(shù)據(jù)追加合并從而獲得整個文件

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }