智慧出行-數據回放的斷點續傳解決方案

1.問題背景

• 通常我們使用flume和kafka集成，都是使用flume監控文件,會在配置source時的命令，例如:tail -F 文件名,這種方式依然會存在一個問題，當flume的agent進程由於各種原因掛掉一段時間之後,就會產生斷點,無法續上之前傳輸的內容,只能從新開始.

2.解決方案:

(1)低版本flume

第一種方案,是在使用tail -F命令的地方修改(默認讀取文件末尾的10行數據)

a1.sources.r2.command=
tail  -n +$(tail -n1 /root/log) -F /root/data/nginx