2019-02-25
閱讀量:
951
spark中的job與mapreduce中job的區(qū)別?
spark中的job與mapreduce中job的區(qū)別?
答:
熟悉Hadoop的人應(yīng)該都知道,用戶先編寫好一個(gè)程序,我們稱為Mapreduce程序,一個(gè)Mapreduce程序就是一個(gè)Job,而一個(gè)Job里面可以有一個(gè)或多個(gè)Task,
Task又可以區(qū)分為Map Task和Reduce Task.
而在Spark中,也有Job概念,但是這里的Job和Mapreduce中的Job不一樣,它不是作業(yè)的最高級(jí)別的粒度,在它之上還有Application的概念。一個(gè)action算子就算一個(gè)Job,比方說(shuō)count,first等。






評(píng)論(0)


暫無(wú)數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評(píng)論
1條評(píng)論
0條評(píng)論
0條評(píng)論