目錄
Flume實戰記錄-目錄：https://blog.csdn.net/weixin_39565597/article/details/104506480
介紹
Flume是一個分佈式海量日誌採集、聚合、傳輸的系統。可實時的採集本地服務器磁盤數據，寫入其它框架。
Flume的組成：Agent（source輸入、channel緩衝、sink輸出、event事件）傳輸的基本單元。
環境準備
官方下載地址：http://archive.apache.org/dist/flume/
官方文檔：https://cwiki.apache.org/confluence/display/FLUME/Getting+Started
本文下載apache-flume-1.7.0-bin.tar.gz
安裝前準備環境：centos、jdk、telnet
安裝位置：/opt/soft/flume-1.7.0
集羣安裝（3臺服務器）：
192.168.220.151 node1
192.168.220.152 node2
192.168.220.153 node3
配置文件
# 進入配置文件目錄，配置flume的java環境
[root@node1 flume-1.7.0] cd conf
[root@node1 conf] cp flume-env.sh.template flume-env.sh
[root@node1 conf] vim flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
# 拷貝至其它服務器
[root@node1 soft] scp -r /opt/soft/flume-1.7.0 root@node2:/opt/soft/
[root@node1 soft] scp -r /opt/soft/flume-1.7.0 root@node3:/opt/soft/
快速入門案例
監聽本地服務器8888端口，實時輸出（確保8888端口未佔用netstat -tunlp | grep 8888）
source：監聽8888端口數據作爲輸入
sink：輸出自己輸入的數據
# 創建採集任務配置
# 可在官方文檔的getting-started查看
[root@node1 flume-1.7.0] mkdir job
[root@node1 flume-1.7.0] touch flume-telnet-test.conf
[root@node1 flume-1.7.0] vim flume-telnet-test.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 8888
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
基礎參數說明：查看詳情
a1：agent名稱
r1：source，數據源
c1：channels，緩衝區
k1：sink，輸出
# 監聽8888端口
# --conf：flume配置文件位置
# --name：agent名稱
# --conf-file：自定義的採集任務名稱
# -Dflume.root.logger：打印日誌級別
[root@node1 flume-1.7.0] ./bin/flume-ng agent --conf ./conf/ --name a1 --conf-file ./job/flume-telnet-test.conf -Dflume.root.logger=INFO,console
# 打開新窗口，向端口8888發送數據
# 回到監聽8888的窗口，可查看到日誌輸出。
[root@node1 flume-1.7.0] telnet localhost 8888
Trying :: 1...
telnet: connect to address ::1 Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
hello flume1
至此，基礎安裝部署已完成