Hadoop：Flume實時日誌採集組件集成搭建

環境：

• VMware15.5
• hadoop-2.6.0-cdh5.14.0
• jdk1.8
• apache-flume-1.8.0

Flume安裝部署：

1. Flume的安裝非常簡單

• 上傳安裝包到數據源所在節點上

• 然後解壓  tar -zxvf apache-flume-1.8.0.tar.gz

• 然後進入flume的解壓目錄，修改conf下的flume-env.sh，在裏面配置JAVA_HOME(記得保存)

這就算安裝成功了。。。。。。

---

   開始使用flume

1. 根據數據採集需求配置採集方案，描述在配置文件中(文件名可任意自定義)
2. 指定採集方案配置文件，在相應的節點上啓動flume agent

 

先在flume的conf目錄下新建一個文件

vim  安裝路徑/apache-flume-1.6.0-cdh5.14.0-bin/conf/netcat-logger.conf

# 定義這個agent中各組件的名字

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# 描述和配置source組件：r1

a1.sources.r1.type = netcat

a1.sources.r1.bind = 192.168.52.120

a1.sources.r1.port = 44444

 

# 描述和配置sink組件：k1

a1.sinks.k1.type = logger

 

# 描述和配置channel組件，此處使用是內存緩存的方式

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 描述和配置source  channel   sink之間的連接關係

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

Channel參數解釋：

capacity：默認該通道中最大的可以存儲的event數量

trasactionCapacity：每次最大可以從source中拿到或者送到sink中的event數量

 

啓動配置文件：

啓動agent去採集數據

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

-c conf   指定flume自身的配置文件所在目錄

-f conf/netcat-logger.con  指定我們所描述的採集方案

-n a1  指定我們這個agent的名字