99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時代大數(shù)據(jù)分析師教程-1.3 Hadoop安裝與HDFS、MapReduce實驗：Hadoop啟動、管理界面及HDFS常用命令
大數(shù)據(jù)分析師教程-1.3 Hadoop安裝與HDFS、MapReduce實驗：Hadoop啟動、管理界面及HDFS常用命令
2024-10-14
收藏

大數(shù)據(jù)分析師教程-1.3 Hadoop安裝與HDFS、MapReduce實驗：Hadoop啟動、管理界面及HDFS常用命令

格式化HDFS

啟用HDFS文件系統(tǒng)之前，需要對其進(jìn)行格式化；格式化只需做一次

在192.168.31.130上執(zhí)行如下命令

cd /opt/linuxsir/hadoop/bin
./hdfs namenode -format

啟動Hadoop

清理hadoop日志

rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/logs/*.*

啟動Hadoop 方式1:集群全組件啟動

cd /opt/linuxsir/hadoop/sbin
./start-all.sh
\如果要停止，請執(zhí)行如下命令
cd /opt/linuxsir/hadoop/sbin
./stop-all.sh

啟動Hadoop 方式2:分別啟動HDFS和YARN

clear
cd /opt/linuxsir/hadoop/sbin
./start-dfs.sh
./start-yarn.sh
\如果要停止，請執(zhí)行如下命令，即分開停止HDFS和YARN
cd /opt/linuxsir/hadoop/sbin
./stop-yarn.sh
./stop-dfs.sh

現(xiàn)在，可以在三個節(jié)點上，查看進(jìn)程，驗證Hadoop是否成功啟動

[root@hd-master bin]# jps
6262 NameNode
28630 Jps
6455 SecondaryNameNode
6618 ResourceManager
[root@hd-master bin]# ssh root@192.168.31.132 jps
3431 NodeManager
20697 Jps
3311 DataNode
[root@hd-master bin]# ssh root@192.168.31.133 jps
3313 DataNode
3431 NodeManager
20295 Jps

到目前為止，啟動HDFS和YARN以后，各個節(jié)點的進(jìn)程，如下圖所示

層級 hd-master hd-slave1 hd-slave2
hdfs層 NameNode、Secondary、NameNode DataNode DataNode
Yarn層 ResourceManager NodeManager NodeManager
hardware各個節(jié)點 192.168.31.131 192.168.31.132 192.168.31.133

在hd-master上運行如下命令，報告HDFS的基本信息

cd /opt/linuxsir/hadoop
./bin/hdfs dfsadmin -report
[root@hd-master bin]# cd /opt/linuxsir/hadoop
[root@hd-master hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 63116517376 (58.78 GB)
Present Capacity: 52430880768 (48.83 GB)
DFS Remaining: 52430462976 (48.83 GB)
DFS Used: 417792 (408 KB)
DFS Used%: 0.00%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (2):

Name: 192.168.31.133:50010 (hd-slave2)
Hostname: hd-slave2
Decommission Status : Normal
Configured Capacity: 31558258688 (29.39 GB)
DFS Used: 208896 (204 KB)
Non DFS Used: 5349883904 (4.98 GB)
DFS Remaining: 26208165888 (24.41 GB)
DFS Used%: 0.00%
DFS Remaining%: 83.05%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Oct 11 01:29:14 PDT 2024


Name: 192.168.31.132:50010 (hd-slave1)
Hostname: hd-slave1
Decommission Status : Normal
Configured Capacity: 31558258688 (29.39 GB)
DFS Used: 208896 (204 KB)
Non DFS Used: 5335752704 (4.97 GB)
DFS Remaining: 26222297088 (24.42 GB)
DFS Used%: 0.00%
DFS Remaining%: 83.09%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Oct 11 01:29:14 PDT 2024

使用日志

如果Hadoop啟動出問題，可以通過查看日志來尋找原因。每次啟動Hadoop，應(yīng)該首先清空三個節(jié)點的logs目錄，方便尋找錯誤。

當(dāng)啟動出錯，可以到相應(yīng)節(jié)點上，查看日志文件。哪個節(jié)點啟動出錯，就看哪個節(jié)點的日志文件。由于有無密碼ssh登錄，可以通過主節(jié)點登錄到其它節(jié)點，去查看所有節(jié)點的日志文件。

日志文件分別在hd-master、hd-slave1、hd-slave2的/opt/linuxsir/hadoop/logs目錄下。

啟動Hadoop之前，刪除log文件

如果啟動出問題，log文件里就是最新的出錯信息

rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/logs/*.*

管理界面

若干web管理界面，列表如下

訪問NameNode管理頁面，監(jiān)控文件系統(tǒng)。 http://192.168.31.131:50070/

訪問ResourceManager(整個Cluster)管理頁面，監(jiān)控集群狀況。 http://192.168.31.131:9099/ 這個端口缺省是8088，由于端口沖突，改成9099, 參考yarn-site.xml

MapReduce JobHistory Server的管理頁面，查看MapReduce作業(yè)提交歷史；需要事先啟動JobHistory Server。 http://192.168.31.131:19888/

HDFS 常用文件操作命令

cd /opt/linuxsir/hadoop/bin
hdfs dfsadmin -safemode leave
    \ 用戶可以通過dfsadmin -safemode value 來操作安全模式，參數(shù)value的說明如下：
    \ enter - 進(jìn)入安全模式
    \ leave - 強制NameNode離開安全模式
    \ get - 返回安全模式是否開啟的信息
    \ wait - 等待，一直到安全模式結(jié)束
 
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -rm -r /input                  \ 遞歸式刪除目錄
./hdfs dfs -mkdir /input                \ 創(chuàng)建目錄
./hdfs dfs -chmod a+rwx /input          \ 授權(quán)
 
./hdfs dfs -mkdir /output               \ 創(chuàng)建目錄
./hdfs dfs -copyFromLocal /opt/linuxsir/test.txt /input \ 拷貝文件到HDFS
\ 或者./hdfs dfs -put /opt/linuxsir/test.txt /input
 
./hdfs dfs -cat /input/test.txt | head        \ 顯示文件的頭幾行

查看Wordcount MapReduce程序所需的數(shù)據(jù)

注意，需要事先啟動HDFS和YARN

cd /opt/linuxsir/hadoop/bin
./hdfs dfs -cat /input/test.txt
./hadoop jar /opt/linuxsir/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/test.txt /output
./hdfs dfs -ls /output
./hdfs dfs -cat /output/part-r-00000

為了運行wordcount，必須保證hdfs分布式文件系統(tǒng)的/output不存在。如果存在可以把它刪除，命令如下

cd /opt/linuxsir/hadoop/bin
./hdfs dfs -ls /output
 
./hdfs dfs -rm /output/*
./hdfs dfs -rmdir /output

配置History Server

在hd-master節(jié)點上，配置History Server

1、在.../etc/hadoop/mapred-site.xml中配置以下內(nèi)容

<property>  
<name>mapreduce.jobhistory.address</name>  
        <value>hd-master:10020</value>  
</property> 
<property>  
        <name>mapreduce.jobhistory.webapp.address</name>  
        <value>hd-master:19888</value>  
</property>

2、把hd-master的新配置分發(fā)到所有節(jié)點即hd-slave1和hd-slave2。

clear
 
scp /opt/linuxsir/hadoop/etc/hadoop/mapred-site.xml hd-slave1:/opt/linuxsir/hadoop/etc/hadoop
scp /opt/linuxsir/hadoop/etc/hadoop/mapred-site.xml hd-slave2:/opt/linuxsir/hadoop/etc/hadoop

3、啟動服務(wù)，在hd-master這臺服務(wù)器上執(zhí)行以下語句。 注意，需要事先啟動HDFS和YARN

cd /opt/linuxsir/hadoop/sbin
mr-jobhistory-daemon.sh start historyserver
 
clear
jps
ssh root@192.168.31.132 jps
ssh root@192.168.31.133 jps

訪問MapReduce JobHistory Server

http://192.168.31.131:19888/

為了順利運行該實例，需要編輯/opt/linuxsir/hadoop/etc/hadoop/hdfs-site.xml配置文件，添加如下配置

<!-- for windows access linux HDFS -->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

這里分享一個你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。 它是專為CDA數(shù)據(jù)分析認(rèn)證考試報考打造的一款小程序。可以幫你快速報名考試、查成績、查證書、查積分，通過該小程序，考生可以享受更便捷的服務(wù)。 掃碼加入CDA小程序，與圈內(nèi)考生一同學(xué)習(xí)、交流、進(jìn)步！

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }