2019-01-25
閱讀量:
1033
為什么MapReduce計算模型需要 Shuffle過程?
為什么 MapReduce 計算模型需要 Shuffle 過程?
答:我們都知道 MapReduce 計算模型一般包括兩個重要的階段: Map 是映射, 負責(zé)數(shù)據(jù)的過濾分發(fā); Reduce 是規(guī)約, 負責(zé)數(shù)據(jù)的計算歸并。 Reduce 的數(shù)據(jù)來源于 Map, Map 的輸出即是 Reduce 的輸入, Reduce 需要通過 Shuffle 來獲取數(shù)據(jù)。






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
1條評論
0條評論