研读《基于flume网络安全可视化系统》----小结

1.哪些公司在使用该框架呢?

Facebook ,美团等公司已经使用了flume为框架收集日志的系统,可以提供给Hadoop平台离线的数据,也可以为storm和spark提供实时的数据。

2.成熟的flume有哪些特点呢?

必须具备可靠性,可用性,可扩展性这几个特点。

可用性体现在flume提供了自下而上的传输机制,实时数据分层管理,分层传输,用户可以自行添加所需要的节点,并且在每一层都具有简单的数据分析过滤功能。

可靠性体现在当某个节点出现故障时,数据能够传输到相邻的节点上,不会丢失,具有高度的冗余性。

可扩展性体现在代理节点,数据收集节点,数据存储节点都具备水平扩展的功能,并且都由master统一的管理,方便系统的监控和维护。

3系统的实现方式

flume是一个分布式的海量日志聚合系统,支持数据发送方,数据接收方烦人数据定制,同时具有数据的预处理能力,如图所示,该图为flume的工作逻辑图,

agent A B C D E F 等,分别受到master的控制,当每个agent传输的数据经过collector进行收集,传输到数据库或者分布式文件系统(在这里使用了Hadoop的分布式文件系统)来存储数据。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章