研讀《基於flume網絡安全可視化系統》----小結

1.哪些公司在使用該框架呢?

Facebook ,美團等公司已經使用了flume爲框架收集日誌的系統,可以提供給Hadoop平臺離線的數據,也可以爲storm和spark提供實時的數據。

2.成熟的flume有哪些特點呢?

必須具備可靠性,可用性,可擴展性這幾個特點。

可用性體現在flume提供了自下而上的傳輸機制,實時數據分層管理,分層傳輸,用戶可以自行添加所需要的節點,並且在每一層都具有簡單的數據分析過濾功能。

可靠性體現在當某個節點出現故障時,數據能夠傳輸到相鄰的節點上,不會丟失,具有高度的冗餘性。

可擴展性體現在代理節點,數據收集節點,數據存儲節點都具備水平擴展的功能,並且都由master統一的管理,方便系統的監控和維護。

3系統的實現方式

flume是一個分佈式的海量日誌聚合系統,支持數據發送方,數據接收方煩人數據定製,同時具有數據的預處理能力,如圖所示,該圖爲flume的工作邏輯圖,

agent A B C D E F 等,分別受到master的控制,當每個agent傳輸的數據經過collector進行收集,傳輸到數據庫或者分佈式文件系統(在這裏使用了Hadoop的分佈式文件系統)來存儲數據。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章