99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
2020-07-06 閱讀量: 928
圖解Yarn工作流程

圖解Yarn工作流程如下:

MR(MapReduce)程序提交到客戶端所在的節(jié)點>>YarnRunner向RM(ResourceManager)申請一個Application>>RM返回Application資源提交路徑hdfs://…./.staging以及application_id給YarnRunner>>YarnRunner提交job運行所需資源給HDFS>>YarnRunner資源提交完畢后,向RM申請運行MRAppMaster>>RM將用戶的請求初始化成一個Task>>Yarn調(diào)度隊列讓一個NM(NodeManager)領取到task任務>>NM創(chuàng)建容器Container并產(chǎn)生MRAppmaster>>Container從HDFS上下載job資源到本地>>MRAppmaster向RM 申請運行maptask的容器>>RM將運行maptask任務分配給另外兩個NM>>另兩個NM分別領取任務并創(chuàng)建container>>MRAppmaster向兩個接收到任務的NM發(fā)送程序啟動腳本>>這兩個NodeManager分別啟動MapTask>>MapTask對數(shù)據(jù)分區(qū)排序>>MrAppMaster等待所有maptask運行完畢后,向RM申請container,運行ReduceTask>>ReduceTask向MapTask獲取相應分區(qū)的數(shù)據(jù)>>程序運行完畢后,MRAppmaster會向RM申請注銷自己。

image.png

29.4284
2
關注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子