请问下source spooling 模式该如何使用？

来源：3-8 -Flume实战案例三(重点掌握)

慕的地5108060

2018-09-17

服务器每天会生成一个新的日志文件例如 /data/file/2018-09-17.log。
使用spooling 模式好像只能一次性迁移。(这个文件一出现就开始传送，完毕后再有新的内容追加好像就不能传送了)

如果希望能持续传送。是不是只能使用 exec 方式来读取？还有别的更好的方式吗？
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -n +0 -F /data/file/2018-09-17.log

写回答

2回答

Michael_PK

2018-09-17

已采纳

taildir这种方式，考虑下

慕的地5108060

非常感谢！

2018-09-18

共1条回复

慕的地5108060

提问者

2018-09-18

谢谢，还有个小问题

tail-memory-avro.sources.tail-source.type = TAILDIR

tail-memory-avro.sources.tail-source.filegroups = log

tail-memory-avro.sources.tail-source.filegroups.log = /usr/file/client_start/start/2018-09-18.log

我这样配置的taildir 这种方式，但是如果日志文件是每天生成一个新的(按照日期命名)。这个日志文件名如何设置成动态变化的？

谢谢

Michael_PK

taildir的是不分文件名的，只要你指定的路径下的文件有新的内容产生就会被收集到

2018-09-18

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 2

回答 1

回答 2

回答 3

回答 1