99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
2020-07-08 閱讀量: 1298
Flume Channel類型的選擇

(1)file channel

數(shù)據(jù)存儲于磁盤,優(yōu)勢:可靠性高;劣勢:傳輸速度低

默認容量:100萬event

注意:FileChannel可以通過配置dataDirs指向多個路徑,每個路徑對應不同的硬盤,增大Flume吞吐量。

(2)memory channel

數(shù)據(jù)存儲于內存,優(yōu)勢:傳輸速度快;劣勢:可靠性差

默認容量:100個event

(3)kafka channel

數(shù)據(jù)存儲于Kafka,基于磁盤;

優(yōu)勢:可靠性高;

傳輸速度快 kafka channel>memory channel+kafka sink 原因是因為省去了sink階段。

(4)kafka channel哪個版本產生的?

flume1.6 版本產生->并沒有廣泛使用;因為有bug:

傳輸?shù)臄?shù)據(jù)都帶topic主題名稱,再拼上內容,如:topic-start、topic-event ,其實我們只需要內容,并不需要topic頭,無論你把配置文件里的相關設置參數(shù)選擇為 ture 或者false,都不起作用,所以增加了額外清洗的工作量;

flume1.7解決了這個問題,開始廣泛使用。

(5)針對生產環(huán)境,如何選擇channel類型:

如果下一級是kafka,優(yōu)先選擇kafka channel;

如果是金融、對錢要求準確的公司,選擇file channel;

如果就是普通的日志,通??梢赃x擇memory channel。


21.2429
1
關注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子