2018-11-02
閱讀量:
1435
PySpark與python的關(guān)系
Spark 集群中有驅(qū)動器(主節(jié)點(diǎn))與工作節(jié)點(diǎn)兩類計(jì)算機(jī),當(dāng)使用RDD執(zhí)行PySpark程序時,在PySpark驅(qū)動器中 SparkContext 通過Py4j啟動一個JVM,所有RDD最初轉(zhuǎn)換都映射為Java中的PythonRDD對象。
一旦這些任務(wù)被推送到spark任務(wù)節(jié)點(diǎn)PythonRDD對象就使用管道啟動Python的子進(jìn)程,發(fā)送代碼到python中進(jìn)行處理。






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
1條評論
0條評論
0條評論