99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線(xiàn)電話(huà)：13121318867

登錄
2020-07-07 閱讀量: 1502
Flume之Taildir Source的特點(diǎn)

Flume Taildir Source的特點(diǎn)如下：

（1）斷點(diǎn)續(xù)傳、多目錄

（2）哪個(gè)flume版本產(chǎn)生的？Apache1.7、CDH1.6

（3）沒(méi)有斷點(diǎn)續(xù)傳功能時(shí)怎么做的？ 自定義

（4）taildir掛了怎么辦？

不會(huì)丟數(shù)：斷點(diǎn)續(xù)傳

重復(fù)數(shù)據(jù)：

（5）怎么處理重復(fù)數(shù)據(jù)？

不處理：生產(chǎn)環(huán)境通常不處理，因?yàn)闀?huì)影響傳輸效率；

處理：

自身：在taildirsource里面增加自定義事務(wù)

找兄弟：下一級(jí)處理（hive dwd sparkstreaming flink布?。?、去重手段（groupby、開(kāi)窗取窗口第一條、redis）

（6）taildir source 是否支持遞歸遍歷文件夾讀取文件？

不支持。但是可以自定義遞歸遍歷文件夾 +讀取文件。


19.5582
2
關(guān)注作者
收藏
評(píng)論(0)

發(fā)表評(píng)論

暫無(wú)數(shù)據(jù)
推薦帖子