2018-11-17
閱讀量:
742
RDD分區(qū)是什么?
RDD 內(nèi)部的數(shù)據(jù)集合在邏輯上和物理上被劃分成多個(gè)小子集合,這樣的每一個(gè)子集合我們將其稱為分區(qū),分區(qū)的個(gè)數(shù)會(huì)決定并行計(jì)算的粒度,而每一個(gè)分區(qū)數(shù)值的計(jì)算都是在一個(gè)單獨(dú)的任務(wù)中進(jìn)行,因此并行任務(wù)的個(gè)數(shù),也是由 RDD分區(qū)的個(gè)數(shù)決定的。






評論(0)


暫無數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評論
1條評論
0條評論
0條評論