
啟用HDFS文件系統(tǒng)之前,需要對其進(jìn)行格式化;格式化只需做一次
在192.168.31.130上執(zhí)行如下命令
cd /opt/linuxsir/hadoop/bin
./hdfs namenode -format
rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/logs/*.*
cd /opt/linuxsir/hadoop/sbin
./start-all.sh
\如果要停止,請執(zhí)行如下命令
cd /opt/linuxsir/hadoop/sbin
./stop-all.sh
clear
cd /opt/linuxsir/hadoop/sbin
./start-dfs.sh
./start-yarn.sh
\如果要停止,請執(zhí)行如下命令,即分開停止HDFS和YARN
cd /opt/linuxsir/hadoop/sbin
./stop-yarn.sh
./stop-dfs.sh
現(xiàn)在,可以在三個節(jié)點上,查看進(jìn)程,驗證Hadoop是否成功啟動
[root@hd-master bin]# jps
6262 NameNode
28630 Jps
6455 SecondaryNameNode
6618 ResourceManager
[root@hd-master bin]# ssh root@192.168.31.132 jps
3431 NodeManager
20697 Jps
3311 DataNode
[root@hd-master bin]# ssh root@192.168.31.133 jps
3313 DataNode
3431 NodeManager
20295 Jps
到目前為止,啟動HDFS和YARN以后,各個節(jié)點的進(jìn)程,如下圖所示
層級 | hd-master | hd-slave1 | hd-slave2 |
---|---|---|---|
hdfs層 | NameNode、Secondary、NameNode | DataNode | DataNode |
Yarn層 | ResourceManager | NodeManager | NodeManager |
hardware各個節(jié)點 | 192.168.31.131 | 192.168.31.132 | 192.168.31.133 |
在hd-master上運行如下命令,報告HDFS的基本信息
cd /opt/linuxsir/hadoop
./bin/hdfs dfsadmin -report
[root@hd-master bin]# cd /opt/linuxsir/hadoop
[root@hd-master hadoop]# ./bin/hdfs dfsadmin -report
Configured Capacity: 63116517376 (58.78 GB)
Present Capacity: 52430880768 (48.83 GB)
DFS Remaining: 52430462976 (48.83 GB)
DFS Used: 417792 (408 KB)
DFS Used%: 0.00%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
-------------------------------------------------
Live datanodes (2):
Name: 192.168.31.133:50010 (hd-slave2)
Hostname: hd-slave2
Decommission Status : Normal
Configured Capacity: 31558258688 (29.39 GB)
DFS Used: 208896 (204 KB)
Non DFS Used: 5349883904 (4.98 GB)
DFS Remaining: 26208165888 (24.41 GB)
DFS Used%: 0.00%
DFS Remaining%: 83.05%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Oct 11 01:29:14 PDT 2024
Name: 192.168.31.132:50010 (hd-slave1)
Hostname: hd-slave1
Decommission Status : Normal
Configured Capacity: 31558258688 (29.39 GB)
DFS Used: 208896 (204 KB)
Non DFS Used: 5335752704 (4.97 GB)
DFS Remaining: 26222297088 (24.42 GB)
DFS Used%: 0.00%
DFS Remaining%: 83.09%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Oct 11 01:29:14 PDT 2024
如果Hadoop啟動出問題,可以通過查看日志來尋找原因。每次啟動Hadoop,應(yīng)該首先清空三個節(jié)點的logs目錄,方便尋找錯誤。
當(dāng)啟動出錯,可以到相應(yīng)節(jié)點上,查看日志文件。哪個節(jié)點啟動出錯,就看哪個節(jié)點的日志文件。由于有無密碼ssh登錄,可以通過主節(jié)點登錄到其它節(jié)點,去查看所有節(jié)點的日志文件。
日志文件分別在hd-master、hd-slave1、hd-slave2的/opt/linuxsir/hadoop/logs目錄下。
啟動Hadoop之前,刪除log文件
如果啟動出問題,log文件里就是最新的出錯信息
rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.132 rm -rf /opt/linuxsir/hadoop/logs/*.*
ssh root@192.168.31.133 rm -rf /opt/linuxsir/hadoop/logs/*.*
若干web管理界面,列表如下
訪問NameNode管理頁面,監(jiān)控文件系統(tǒng)。 http://192.168.31.131:50070/
訪問ResourceManager(整個Cluster)管理頁面,監(jiān)控集群狀況。 http://192.168.31.131:9099/ 這個端口缺省是8088,由于端口沖突,改成9099, 參考yarn-site.xml
MapReduce JobHistory Server的管理頁面,查看MapReduce作業(yè)提交歷史;需要事先啟動JobHistory Server。 http://192.168.31.131:19888/
cd /opt/linuxsir/hadoop/bin
hdfs dfsadmin -safemode leave
\ 用戶可以通過dfsadmin -safemode value 來操作安全模式,參數(shù)value的說明如下:
\ enter - 進(jìn)入安全模式
\ leave - 強制NameNode離開安全模式
\ get - 返回安全模式是否開啟的信息
\ wait - 等待,一直到安全模式結(jié)束
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -rm -r /input \ 遞歸式刪除目錄
./hdfs dfs -mkdir /input \ 創(chuàng)建目錄
./hdfs dfs -chmod a+rwx /input \ 授權(quán)
./hdfs dfs -mkdir /output \ 創(chuàng)建目錄
./hdfs dfs -copyFromLocal /opt/linuxsir/test.txt /input \ 拷貝文件到HDFS
\ 或者./hdfs dfs -put /opt/linuxsir/test.txt /input
./hdfs dfs -cat /input/test.txt | head \ 顯示文件的頭幾行
注意,需要事先啟動HDFS和YARN
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -cat /input/test.txt
./hadoop jar /opt/linuxsir/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/test.txt /output
./hdfs dfs -ls /output
./hdfs dfs -cat /output/part-r-00000
為了運行wordcount,必須保證hdfs分布式文件系統(tǒng)的/output不存在。如果存在可以把它刪除,命令如下
cd /opt/linuxsir/hadoop/bin
./hdfs dfs -ls /output
./hdfs dfs -rm /output/*
./hdfs dfs -rmdir /output
在hd-master節(jié)點上,配置History Server
1、在.../etc/hadoop/mapred-site.xml中配置以下內(nèi)容
<property>
<name>mapreduce.jobhistory.address</name>
<value>hd-master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hd-master:19888</value>
</property>
2、把hd-master的新配置分發(fā)到所有節(jié)點即hd-slave1和hd-slave2。
clear
scp /opt/linuxsir/hadoop/etc/hadoop/mapred-site.xml hd-slave1:/opt/linuxsir/hadoop/etc/hadoop
scp /opt/linuxsir/hadoop/etc/hadoop/mapred-site.xml hd-slave2:/opt/linuxsir/hadoop/etc/hadoop
3、啟動服務(wù),在hd-master這臺服務(wù)器上執(zhí)行以下語句。 注意,需要事先啟動HDFS和YARN
cd /opt/linuxsir/hadoop/sbin
mr-jobhistory-daemon.sh start historyserver
clear
jps
ssh root@192.168.31.132 jps
ssh root@192.168.31.133 jps
訪問MapReduce JobHistory Server
http://192.168.31.131:19888/
為了順利運行該實例,需要編輯/opt/linuxsir/hadoop/etc/hadoop/hdfs-site.xml配置文件,添加如下配置
<!-- for windows access linux HDFS -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
這里分享一個你一定用得到的小程序——CDA數(shù)據(jù)分析師考試小程序。
它是專為CDA數(shù)據(jù)分析認(rèn)證考試報考打造的一款小程序。可以幫你快速報名考試、查成績、查證書、查積分,通過該小程序,考生可以享受更便捷的服務(wù)。
掃碼加入CDA小程序,與圈內(nèi)考生一同學(xué)習(xí)、交流、進(jìn)步!
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03