Flume的安裝配置及使用案例

1. 安裝配置

1.1. 解壓安裝

tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt

mv apache-flume-1.6.0-bin flume

1.2. 配置環境變量

vim /etc/profile

export FLUME_HOME=/opt/flume

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$FLUME_HOME/bin:

保存退出後，刷新profile

source /etc/profile

1.3. 驗證

#查看flume版本： 

[root@alone opt]# flume-ng version

Flume 1.8.0

Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

Revision: 99f591994468633fc6f8701c5fc53e0214b6da4f

Compiled by denes on Fri Sep 15 14:58:00 CEST 2017

From source with checksum fbb44c8c8fb63a49be0a59e27316833d

#出現上面的信息，表示安裝成功了

2.實時採集案例---參見官網，對每種類型的source、channel、sink有詳細的解釋和示例

agent2.sources = s1
agent2.channels = c1 c2
agent2.sinks = k1 k2

# 定義source

#監控文件
#agent2.sources.s1.type=exec 
#agent2.sources.s1.command=tail -F /test/data/test.log
#agent2.sources.s1.channels = c1 c2
agent2.sources.s1.type = avro
agent2.sources.s1.bind=172.16.90.62
agent2.sources.s1.port=4141
agent2.sources.s1.channels = c1 c2

# 定義channels

#------- c1-------------------------
agent2.channels.c1.type = memory
agent2.channels.c1.capacity = 100000
agent2.channels.c1.transactionCapacity = 100000
#------- c2-------------------------
agent2.channels.c2.type = memory
agent2.channels.c2.capacity=10000
agent2.channels.c2.transactionCapacity=1000

# 定義sinks

#---------k1 ------------------
agent2.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
agent2.sinks.k1.brokerList=app1:6667,app2:6667
agent2.sinks.k1.topic=kafkatest2
agent2.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent2.sinks.k1.channel=c1

#---------k2 ------------------
agent2.sinks.k2.type = hdfs
agent2.sinks.k2.channel = c2
agent2.sinks.k2.hdfs.path = /flume/events/%y-%m-%d/%H%M/
agent2.sinks.k2.hdfs.filePrefix = events-
agent2.sinks.k2.hdfs.round = true

#集合roundUnit可以按時間生成文件夾，單位分鐘
agent2.sinks.k2.hdfs.roundValue = 10
agent2.sinks.k2.hdfs.roundUnit = minute
#hdfs sink間隔多長將臨時文件滾動成最終目標文件，單位：秒；
agent2.sinks.k2.hdfs.rollInterval = 300
#當臨時文件達到該大小（單位：bytes）時，滾動成目標文件
agent2.sinks.k2.hdfs.rollSize = 0
#當events數據達到該數量時候，將臨時文件滾動成目標文件；
#agent2.sinks.k2.hdfs.rollCount = 300
#每個批次刷新到HDFS上的events數量；
agent2.sinks.k2.hdfs.batchSize = 10
agent2.sinks.k2.hdfs.useLocalTimeStamp = true
#生成的文件類型，默認是Sequencefile，可用DataStream，則爲普通文本
agent2.sinks.k2.hdfs.fileType = DataStream

Flume除了以上介紹的內容，還支持定義各種攔截器，用來做一些簡單的數據清洗，可以自己去官網學習