flume中有三種可監(jiān)控文件或目錄的source，分別是Exec Source、Spooling Directory Source和Taildir Source。

Taildir Source是1.7版本的新特性，綜合了Spooling Directory Source和Exec Source的優(yōu)點。

使用場景如下：

Exec Source

Exec Source可通過tail -f命令去tail住一個文件，然后實時同步日志到sink。但存在的問題是，當agent進程掛掉重啟后，會有重復消費的問題。可以通過增加UUID來解決，或通過改進ExecSource來解決。

Spooling Directory Source

Spooling Directory Source可監(jiān)聽一個目錄，同步目錄中的新文件到sink,被同步完的文件可被立即刪除或被打上標記。適合用于同步新文件，但不適合對實時追加日志的文件進行監(jiān)聽并同步。如果需要實時監(jiān)聽追加內容的文件，可對SpoolDirectorySource進行改進。

Taildir Source

Taildir Source可實時監(jiān)控一批文件，并記錄每個文件最新消費位置，agent進程重啟后不會有重復消費的問題。

使用時建議用1.8.0版本的flume，1.8.0版本中解決了Taildir Source一個可能會丟數(shù)據(jù)的bug。