1.哪些公司在使用該框架呢?
Facebook ,美團等公司已經使用了flume爲框架收集日誌的系統,可以提供給Hadoop平臺離線的數據,也可以爲storm和spark提供實時的數據。
2.成熟的flume有哪些特點呢?
必須具備可靠性,可用性,可擴展性這幾個特點。
可用性體現在flume提供了自下而上的傳輸機制,實時數據分層管理,分層傳輸,用戶可以自行添加所需要的節點,並且在每一層都具有簡單的數據分析過濾功能。
可靠性體現在當某個節點出現故障時,數據能夠傳輸到相鄰的節點上,不會丟失,具有高度的冗餘性。
可擴展性體現在代理節點,數據收集節點,數據存儲節點都具備水平擴展的功能,並且都由master統一的管理,方便系統的監控和維護。
3系統的實現方式
flume是一個分佈式的海量日誌聚合系統,支持數據發送方,數據接收方煩人數據定製,同時具有數據的預處理能力,如圖所示,該圖爲flume的工作邏輯圖,
agent A B C D E F 等,分別受到master的控制,當每個agent傳輸的數據經過collector進行收集,傳輸到數據庫或者分佈式文件系統(在這裏使用了Hadoop的分佈式文件系統)來存儲數據。