2019-01-20
閱讀量:
1372
pyspark中調(diào)用jieba,顯示沒有那個(gè)包
pyspark中調(diào)用jieba,顯示沒有那個(gè)包。local模式運(yùn)行沒問題,但是使用standalone模式運(yùn)行的時(shí)候顯示import jieba 錯(cuò)誤,這是啥原因?
答:由于spark框架是一種并行運(yùn)算框架,當(dāng)以local模式運(yùn)行時(shí),程序只在當(dāng)前節(jié)點(diǎn)運(yùn)行,pyspark用的只有當(dāng)前的python環(huán)境。但是當(dāng)以集群模式運(yùn)行的時(shí)候每個(gè)節(jié)點(diǎn)的python必須一致,因?yàn)橥欢未a會(huì)在各個(gè)worker節(jié)點(diǎn)執(zhí)行。解決辦法就是在每個(gè)節(jié)點(diǎn)上都安裝相同的python包,這個(gè)問題中就是要在每個(gè)節(jié)點(diǎn)上都安裝jieba包。






評論(0)


暫無數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評論
1條評論
0條評論
0條評論