1.问题背景
- 通常我们使用flume和kafka集成，都是使用flume监控文件,会在配置source时的命令，例如:tail -F 文件名,这种方式依然会存在一个问题，当flume的agent进程由于各种原因挂掉一段时间之后,就会产生断点,无法续上之前传输的内容,只能从新开始.
2.解决方案:
(1)低版本flume
第一种方案,是在使用tail -F命令的地方修改(默认读取文件末尾的10行数据)
a1.sources.r2.command=
tail -n +$(tail -n1 /root/log) -F /root/data/nginx