- Source : 接收的event數和處理的event數
- Channel : Channel中擁堵的event數
-
Sink : 已經處理的event數
2.3 增加HdfsSink的開關
2.5 增加NullChannel
2.7 修復和scribe的兼容問題
-
HdfsSink中默認的serializer會每寫一行在行尾添加一個換行符,我們日誌本身帶有換行符,這樣會導致每條日誌後面多一個空行,修改配置不要自動添加換行符;
-
調大MemoryChannel的capacity,儘量利用MemoryChannel快速的處理能力;
-
調大HdfsSink的batchSize,增加吞吐量,減少hdfs的flush次數;
-
適當調大HdfsSink的callTimeout,避免不必要的超時錯誤;