首先这个是我的原创文章,也参考了网络上的各位大神的文章加上自己的总结,欢迎各位大神指出错误!我们共同进步!
flume级别的架构使用(常用模式)
直接上干货,文字性的描述有
1.介绍:
log是各个分布式服务的日志,可用从web的service产生的log
Source组件(每一个的)都是采集不同的service的服务的log
channel组件(每一个的)都是接收不同source传过来的log
Sink组件(每一个的)都是接收对应的channel管道的log
上面所有的服务的都需要再次汇总到一个flume的source组件中,在通过一样的关系在下沉到你想要到的地方
2.好处:
这种模式也是可以达到复制日志的目的,尤其是在最后使用的一个Sink中下沉的时候可以复制存储到不同的位置.比如hdfs中。
这种模式也是可以达到分流的作用,尤其是在最后使用的一个Sink中下沉的时候可以分流到不同的地方
3.也能实现负载均衡:
负载均衡:英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务.
上面完成的也是多个的并行执行模式