flume的级别的架构使用--实际场景应用--可以用于分布式的服务形式的日志采集

首先这个是我的原创文章,也参考了网络上的各位大神的文章加上自己的总结,欢迎各位大神指出错误!我们共同进步!

flume级别的架构使用(常用模式)

直接上干货,文字性的描述有


1.介绍:

log是各个分布式服务的日志,可用从web的service产生的log

Source组件(每一个的)都是采集不同的service的服务的log

channel组件(每一个的)都是接收不同source传过来的log

Sink组件(每一个的)都是接收对应的channel管道的log

上面所有的服务的都需要再次汇总到一个flume的source组件中,在通过一样的关系在下沉到你想要到的地方

2.好处:

这种模式也是可以达到复制日志的目的,尤其是在最后使用的一个Sink中下沉的时候可以复制存储到不同的位置.比如hdfs中。

这种模式也是可以达到分流的作用,尤其是在最后使用的一个Sink中下沉的时候可以分流到不同的地方

3.也能实现负载均衡:

负载均衡:英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器FTP服务器企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务.

上面完成的也是多个的并行执行模式










发布了9 篇原创文章 · 获赞 2 · 访问量 4万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章