99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線(xiàn)電話(huà):13121318867

登錄
2018-10-20 閱讀量: 1030
如何設(shè)置reduce的個(gè)數(shù)?

reduce在運(yùn)行時(shí)往往需要從相關(guān)map端復(fù)制數(shù)據(jù)到reduce節(jié)點(diǎn)來(lái)處理,因此相比于map任務(wù),reduce節(jié)點(diǎn)資源是相對(duì)比較缺少的,同時(shí)相對(duì)運(yùn)行較慢。

正確的reduce任務(wù)的個(gè)數(shù)應(yīng)該是0.95或者1.75 *(節(jié)點(diǎn)數(shù) ×mapred.tasktracker.tasks.maximum參數(shù)值)。如果任務(wù)數(shù)是節(jié)點(diǎn)個(gè)數(shù)的0.95倍,那么所有的reduce任務(wù)能夠在 map任務(wù)的輸出傳輸結(jié)束后同時(shí)開(kāi)始運(yùn)行。如果任務(wù)數(shù)是節(jié)點(diǎn)個(gè)數(shù)的1.75倍,那么高速的節(jié)點(diǎn)會(huì)在完成他們第一批reduce任務(wù)計(jì)算之后開(kāi)始計(jì)算第二批 reduce任務(wù),這樣的情況更有利于負(fù)載均衡。同時(shí)需要注意增加reduce的數(shù)量雖然會(huì)增加系統(tǒng)的資源開(kāi)銷(xiāo),但是可以改善負(fù)載勻衡,降低任務(wù)失敗帶來(lái)的負(fù)面影響。同樣,Reduce任務(wù)也能夠與 map任務(wù)一樣,通過(guò)設(shè)定JobConf 的conf.setNumReduceTasks(int num)方法來(lái)增加任務(wù)個(gè)數(shù)。

101.7633
2
關(guān)注作者
收藏
評(píng)論(0)

發(fā)表評(píng)論

暫無(wú)數(shù)據(jù)
推薦帖子