99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
2018-10-20 閱讀量: 960
Executor/Reciever的容錯(cuò)問題解決。

spark streaming可以通過多種方式作為數(shù)據(jù)sources（包括kafka），輸入的數(shù)據(jù)通過executor中的receivers接收，復(fù)制后存儲(chǔ)于spark中（為了faultolerance，默認(rèn)復(fù)制到兩個(gè)spark executors），如果數(shù)據(jù)復(fù)制完成，receivers可以知道，并通知kafka中更新offsets到zookeeper中。這樣當(dāng)receivers在接收數(shù)據(jù)過程中crash掉，不會(huì)有數(shù)據(jù)丟失，receivers沒有復(fù)制的數(shù)據(jù)，當(dāng)receiver恢復(fù)后重新接收即可。

0.0000
1
關(guān)注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子