flume 安裝及應用

1. 日誌採集框架Flume

1.1 Flume介紹

1.1.1 概述

Flume是一個數據搬運工，側重於數據的搬運，而不是數據處理

• Flume是一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。
• Flume可以採集文件，socket數據包等各種形式源數據，又可以將採集到的數據輸出到HDFS、hbase、hive、kafka等衆多外部存儲系統中
• 一般的採集需求，通過對flume的簡單配置即可實現
• Flume針對特殊場景也具備良好的自定義擴展能力，因此，flume可以適用於大部分的日常數據採集場景

1.1.2 運行機制

Flume相當於一輛公交車，source是前門，乘客從前門上車；channel相當於座位；sink相當於後門，乘客從後門下車。公交車負責將乘客從一個地方運送到另一個地方。
1、 Flume分佈式系統中最核心的角色是agent，flume採集系統就是由一個個agent所連接起來形成
2、 每一個agent相當於一個數據傳遞員，內部有三個組件：
a) Source：採集源，用於跟數據源對接，以獲取數據
b) Sink：下沉地，採集數據的傳送目的，用於往下一級agent傳遞數據或者往最終存儲系統傳遞數據
c) Channel：angent內部的數據傳輸通道，用於從source將數據傳遞到sink

1.1.3 Flume採集系統結構圖

1. 簡單結構
   單個agent採集數據
   
2. 複雜結構
   多級agent之間串聯
   

1.2 Flume實戰案例

1.2.1 Flume的安裝部署

1、Flume的安裝非常簡單，只需要解壓即可，當然，前提是已有hadoop環境

上傳安裝包到數據源所在節點上
解壓  
tar -zxvf apache-flume-1.6.0-bin.tar.gz
然後進入flume的目錄，修改conf下的flume-env.sh，在裏面配置JAVA_HOME
cd /root/apps/apache-flume-1.6.0-bin/conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh # 加入以下一行（請自行更改自己的JAVA_HOME路徑），然後保存
JAVA_HOME=/usr/local/jdk1.8.0_191

2、根據數據採集的需求配置採集方案，描述在配置文件中(文件名可任意自定義)
3、指定採集方案配置文件，在相應的節點上啓動flume agent

簡單flume採集案例：採集本機某個端口發送的信息，並答應到屏幕控制檯：
1、先在flume的conf目錄下新建一個文件
vi netcat-logger.conf

# 定義這個agent中各組件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source組件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 描述和配置sink組件：k1
a1.sinks.k1.type = logger

# 描述和配置channel組件，此處使用是內存緩存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之間的連接關係
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、啓動agent去採集數據

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

-c conf 指定flume自身的配置文件所在目錄
-f conf/netcat-logger.con 指定我們所描述的採集方案
-n a1 指定我們這個agent的名字
3、測試
先要往agent採集監聽的端口上發送數據，讓agent有數據可採
隨便在一個能跟agent節點聯網的機器上

telnet anget-hostname  port   （telnet localhost 44444） 
輸入hello world 然後按enter