1)Hadoop調(diào)度器重要分為三類:
FIFO 、CS(Capacity Scheduler)(容量調(diào)度器)和FS(Fair Sceduler)(公平調(diào)度器)。
Apache默認(rèn)的資源調(diào)度器是容量調(diào)度器CS;
CDH默認(rèn)的資源調(diào)度器是公平調(diào)度器FS。
2)區(qū)別:
FIFO調(diào)度器:支持單隊(duì)列 、先進(jìn)先出,生產(chǎn)環(huán)境不會(huì)用。
CS容量調(diào)度器:支持多隊(duì)列,保證先進(jìn)入的任務(wù)優(yōu)先執(zhí)行。
FS公平調(diào)度器:支持多隊(duì)列,保證每個(gè)任務(wù)公平享有隊(duì)列資源。
大廠:如果對(duì)并發(fā)度要求比較高,選擇公平FS,要求服務(wù)器性能必須OK;
中小公司,集群服務(wù)器資源不太充裕選擇容量CS。
4)在生產(chǎn)環(huán)境怎么創(chuàng)建隊(duì)列?
(1)調(diào)度器默認(rèn)就1個(gè)default隊(duì)列,不能滿足生產(chǎn)要求;
(2)按照框架:hive /spark/ flink 每個(gè)框架的任務(wù)放入指定的隊(duì)列(企業(yè)用的不是特別多);
(3)按照業(yè)務(wù)模塊:登錄注冊(cè)、購物車、下單、業(yè)務(wù)部門1、業(yè)務(wù)部門2。
5)創(chuàng)建多隊(duì)列的好處?
(1)因?yàn)閾?dān)心員工不小心,寫遞歸死循環(huán)代碼,把所有資源全部耗盡。
(2)YARN給隊(duì)列分配優(yōu)先級(jí)值,讓隊(duì)列帶上優(yōu)先級(jí)屬性,實(shí)現(xiàn)任務(wù)的降級(jí)使用,特殊時(shí)期保證重要的任務(wù)隊(duì)列資源充足。
業(yè)務(wù)部門1(重要)>>業(yè)務(wù)部門2(比較重要)>>下單(一般)>>購物車(一般)>>登錄注冊(cè)(次要)
Yarn支持隊(duì)列內(nèi)多優(yōu)先級(jí)應(yīng)用調(diào)度,應(yīng)用優(yōu)先級(jí)的ACL管控:
yarn.scheduler.capacity.root.[queue_name].[priority].acl=user1,user2








暫無數(shù)據(jù)