2020-07-06
閱讀量:
1072
Hadoop宕機(jī)的處理方法
1)如果MR造成系統(tǒng)宕機(jī)。此時(shí)要控制Yarn同時(shí)運(yùn)行的任務(wù)數(shù),和每個(gè)任務(wù)申請(qǐng)的最大內(nèi)存。調(diào)整參數(shù):yarn.scheduler.maximum-allocation-mb(單個(gè)任務(wù)可申請(qǐng)的最多物理內(nèi)存量,默認(rèn)是8192MB)
2)如果寫(xiě)入文件過(guò)快造成NameNode宕機(jī)。那么調(diào)高Kafka的存儲(chǔ)大小,控制從Kafka到HDFS的寫(xiě)入速度。例如,可以調(diào)整Flume每批次拉取數(shù)據(jù)量的大小參數(shù)batchsize。






評(píng)論(0)


暫無(wú)數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評(píng)論
1條評(píng)論
0條評(píng)論
0條評(píng)論