2018-11-02
閱讀量:
1477
PySpark與python的關(guān)系
Spark 集群中有驅(qū)動器(主節(jié)點)與工作節(jié)點兩類計算機,當使用RDD執(zhí)行PySpark程序時,在PySpark驅(qū)動器中 SparkContext 通過Py4j啟動一個JVM,所有RDD最初轉(zhuǎn)換都映射為Java中的PythonRDD對象。
一旦這些任務(wù)被推送到spark任務(wù)節(jié)點PythonRDD對象就使用管道啟動Python的子進程,發(fā)送代碼到python中進行處理。






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
0條評論