Flume 概念和流程初步瞭解

最近接觸了Flume這個日誌框架,還蠻不錯的,當今大數據遍不天下,採集數據,變得尤爲珍貴。

Flume框架優點:
1、它是一個分佈式,高可用的日誌採集框架,很多公司都應用它進行二次改造,進行日誌收集。
2、應用了事務機制保證消息的可靠性傳遞。
3、特別喜愛它的一點是,它是Java開發,很容易進行二次開發,或線上出現問題了,很容易找到問題的所在,而且配置文件可配置JVM。
4、最後、功能組件模塊分的清楚,很容易上手。

Flume基本組件以及基礎概念:
Sources:採集源,也是數據來源,就是說你要採集的目標。
Channels:數據通道,Sources數據採集到這裏,暫存,直到給Sink組件
Sink:目標地,數據採集到了最終要傳遞到一個地方,Sink是幹這個工作的。
Events:事件,Flume整個流程中,Events是貫穿整個流程,是最小的事件單位,
Agent:一個agent對應一個java進程,它使用JVM啓動,可配置JVM參數。

Flumes運行流程:
sources監聽到特定的source type數據來源,存入到channels通道,它保存的都是以事件爲單位的數據,等待sink來消費,sink負責將channels裏存入的event事件推送到目標地。

Flume常用的模型(來自官網)
地址:http://flume.apache.org/FlumeUserGuide.html#

模型一:
Flume 概念和流程初步瞭解

模型二:Flume 概念和流程初步瞭解

模型三:
Flume 概念和流程初步瞭解

模型四:Flume 概念和流程初步瞭解

後續還在學習中,如有不對的地方,可一起學習。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章