歡迎訪問筆者個人技術博客：http://rukihuang.xyz/
學習視頻來源於尚硅谷，視頻鏈接：尚硅谷大數據項目數據倉庫,電商數倉V1.2新版，Respect！

1 概述

1.1 Flume定義

Flume 是Cloudera 提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統。Flume 基於流式架構，靈活簡單。
Flume最主要的作用：實時讀取服務器本地磁盤的數據，將數據寫入到HDFS

1.2 Flume組成架構

1.2.1 Agent

Agent 是一個JVM 進程，它以事件的形式將數據從源頭送至目的，是Flume 數據傳輸的基本單元。
Agent 主要有3 個部分組成，Source、Channel、Sink。

1.2.2 Source

Source 是負責接收數據到Flume Agent 的組件。Source 組件可以處理各種類型、各種格式的日誌數據，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。

1.2.3 Channel

Channel 是位於Source 和Sink 之間的緩衝區。因此，Channel 允許Source 和Sink 運作在不同的速率上。Channel 是線程安全的，可以同時處理幾個Source 的寫入操作和幾個Sink的讀取操作。
- Flume 自帶兩種Channel：Memory Channel 和File Channel。
- Memory Channel 是內存中的隊列。Memory Channel 在不需要關心數據丟失的情景下適用。如果需要關心數據丟失，那麼Memory Channel 就不應該使用，因爲程序死亡、機器宕機或者重啓都會導致數據丟失。
- File Channel 將所有事件寫到磁盤。因此在程序關閉或機器宕機的情況下不會丟失數據。

1.2.4 Sink

Sink 不斷地輪詢Channel 中的事件且批量地移除它們，並將這些事件批量寫入到存儲或索引系統、或者被髮送到另一個Flume Agent。
Sink 是完全事務性的。在從Channel 批量刪除數據之前，每個Sink 用Channel 啓動一個事務。批量事件一旦成功寫出到存儲系統或下一個Flume Agent，Sink 就利用Channel 提交事務。事務一旦被提交，該Channel 從自己的內部緩衝區刪除事件。
Sink 組件目的地包括hdfs、logger、avro、thrift、ipc、file、null、HBase、solr、自定義。

1.2.5 Event

傳輸單元，Flume 數據傳輸的基本單元，以事件的形式將數據從源頭送至目的地。

1.3 Flume拓撲結構

1.3.1 Agent連接

1.3.2 單source多channel、sink

1.3.3 負載均衡

1.3.4 Agent聚合

1.4 Flume Agent內部原理

2 Flume的安裝與配置

2.1 下載地址

Flume官網地址：http://flume.apache.org/
文檔地址：http://flume.apache.org/FlumeUserGuide.html
下載地址：http://archive.apache.org/dist/flume/

2.2 安裝部署

將apache-flume-1.7.0-bin.tar.gz 上傳到102機器的/opt/software目錄下
解壓安裝至/opt/module目錄下

tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/

將/opt/module/apache-flume-1.7.0-bin/conf中的flume-env.sh.template文件修改爲flume-env.sh ，並配置flume-env.sh 文件

export JAVA_HOME=/opt/module/jdk1.8.0_144

3 項目經驗——flume組件

3.1 source

Taildir Source 相比Exec Source、Spooling Directory Source 的優勢
- TailDir Source：斷點續傳、多目錄。Flume1.6 以前需要自己自定義Source 記錄每次讀取文件位置，實現斷點續傳。
- Exec Source ：可以實時蒐集數據，但是在Flume 不運行或者Shell 命令出錯的情況下，數
  據將會丟失。
- Spooling Directory Source ：監控目錄，不支持斷點續傳。

3.2 channel

採用Kafka Channel，省去了Sink，提高了效率。KafkaChannel 數據存儲在Kafka 裏面，所以數據是存儲在磁盤中。
注意在Flume1.7 以前，Kafka Channel 很少有人使用，因爲發現parseAsFlumeEvent 這個配置起不了作用。也就是無論parseAsFlumeEvent 配置爲true 還是false，都會轉爲Flume Event。這樣的話，造成的結果是，會始終都把Flume 的headers 中的信息混合着內容一起寫入Kafka的消息中，這顯然不是我所需要的，我只是需要把內容寫入即可。

4 日誌採集的flume配置

4.1 配置分析

4.2 flume的具體配置文件

由於flume要與kafka整合，因此在/opt/module/flume/conf目錄下創建file-flume-kafka.conf文件（由於使用flume1.7，在啓動flume時出現報錯，經查證是源碼的問題，詳見下文注意點5.2，筆者最後使用了flume1.8，因此目錄更改爲/opt/module/flume1.8/conf）

a1.sources=r1
a1.channels=c1 c2

# configure source
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/module/flume1.8/test/log_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /tmp/logs/app.+
a1.sources.r1.fileHeader = true
a1.sources.r1.channels = c1 c2

#interceptor
a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = com.atguigu.flume.interceptor.LogETLInterceptor$Builder
a1.sources.r1.interceptors.i2.type = com.atguigu.flume.interceptor.LogTypeInterceptor$Builder
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = topic
a1.sources.r1.selector.mapping.topic_start = c1
a1.sources.r1.selector.mapping.topic_event = c2

# configure channel
a1.channels.c1.type =org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c1.kafka.topic = topic_start
a1.channels.c1.parseAsFlumeEvent = false
a1.channels.c1.kafka.consumer.group.id = flume-consumer
a1.channels.c2.type =org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c2.kafka.bootstrap.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
a1.channels.c2.kafka.topic = topic_event
a1.channels.c2.parseAsFlumeEvent = false
a1.channels.c2.kafka.consumer.group.id = flume-consumer

4.3 攔截器

創建Maven工程 flume-interceptor
創建包名：com.atguigu.flume.interceptor

4.3.1 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>flume-interceptor</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.7.0</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>


</project>

4.3.2 LogETLInterceptor

package com.atguigu.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;

public class LogETLInterceptor implements Interceptor {

    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        // 1 獲取數據
        byte[] body = event.getBody();
        String log = new String(body, Charset.forName("UTF-8"));

        // 2 判斷數據類型並向Header中賦值
        if (log.contains("start")) {
            if (LogUtils.validateStart(log)){
                return event;
            }
        }else {
            if (LogUtils.validateEvent(log)){
                return event;
            }
        }

        // 3 返回校驗結果
        return null;
    }

    @Override
    public List<Event> intercept(List<Event> events) {

        ArrayList<Event> interceptors = new ArrayList<>();

        for (Event event : events) {
            Event intercept1 = intercept(event);

            if (intercept1 != null){
                interceptors.add(intercept1);
            }
        }

        return interceptors;
    }

    @Override
    public void close() {

    }

    public static class Builder implements Interceptor.Builder{

        @Override
        public Interceptor build() {
            return new LogETLInterceptor();
        }

        @Override
        public void configure(Context context) {

        }
    }
}

4.3.3 LogETLInterceptor

package com.atguigu.flume.interceptor;

import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;

import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class LogTypeInterceptor implements Interceptor {
    @Override
    public void initialize() {

    }

    @Override
    public Event intercept(Event event) {

        // 區分日誌類型：   body  header
        // 1 獲取body數據
        byte[] body = event.getBody();
        String log = new String(body, Charset.forName("UTF-8"));

        // 2 獲取header
        Map<String, String> headers = event.getHeaders();

        // 3 判斷數據類型並向Header中賦值
        if (log.contains("start")) {
            headers.put("topic","topic_start");
        }else {
            headers.put("topic","topic_event");
        }

        return event;
    }

    @Override
    public List<Event> intercept(List<Event> events) {

        ArrayList<Event> interceptors = new ArrayList<>();

        for (Event event : events) {
            Event intercept1 = intercept(event);

            interceptors.add(intercept1);
        }

        return interceptors;
    }

    @Override
    public void close() {

    }

    public static class Builder implements  Interceptor.Builder{

        @Override
        public Interceptor build() {
            return new LogTypeInterceptor();
        }

        @Override
        public void configure(Context context) {

        }
    }
}

4.3.4 LogUtils

package com.atguigu.flume.interceptor;
import org.apache.commons.lang.math.NumberUtils;

public class LogUtils {

    public static boolean validateEvent(String log) {
        // 服務器時間 | json
        // 1549696569054 | {"cm":{"ln":"-89.2","sv":"V2.0.4","os":"8.2.0","g":"[email protected]","nw":"4G","l":"en","vc":"18","hw":"1080*1920","ar":"MX","uid":"u8678","t":"1549679122062","la":"-27.4","md":"sumsung-12","vn":"1.1.3","ba":"Sumsung","sr":"Y"},"ap":"weather","et":[]}

        // 1 切割
        String[] logContents = log.split("\\|");

        // 2 校驗
        if(logContents.length != 2){
            return false;
        }

        //3 校驗服務器時間
        if (logContents[0].length()!=13 || !NumberUtils.isDigits(logContents[0])){
            return false;
        }

        // 4 校驗json
        if (!logContents[1].trim().startsWith("{") || !logContents[1].trim().endsWith("}")){
            return false;
        }

        return true;
    }

    public static boolean validateStart(String log) {
        // {"action":"1","ar":"MX","ba":"HTC","detail":"542","en":"start","entry":"2","extend1":"","g":"[email protected]","hw":"640*960","l":"en","la":"-43.4","ln":"-98.3","loading_time":"10","md":"HTC-5","mid":"993","nw":"WIFI","open_ad_type":"1","os":"8.2.1","sr":"D","sv":"V2.9.0","t":"1559551922019","uid":"993","vc":"0","vn":"1.1.5"}

        if (log == null){
            return false;
        }

        // 校驗json
        if (!log.trim().startsWith("{") || !log.trim().endsWith("}")){
            return false;
        }

        return true;
    }
}

利用maven將項目打包，並將target文件夾下的flume-interceptor-1.0-SNAPSHOT.jar上傳到/opt/module/flume1.8/lib目錄下，這樣flume才能使用自定義攔截器
將自定義攔截器分發到hadoop103、hadoop104機器上

xsync flume/

4.4 Flume羣起/停止腳本

在~/bin目錄下創建腳本f1.sh

#!/bin/bash

case $1 in
"start"){
	for i in hadoop102 hadoop103
		do
			echo " --------開始$i 採集flume-------"
			ssh $i "nohup /opt/module/flume1.8/bin/flume-ng agent --name a1 --conf-file /opt/module/flume1.8/conf/file-flume-kafka.conf -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume1.8/flume.log 2>&1 &"
		done
};;
"stop"){
	for i in hadoop102 hadoop103
		do
			echo " --------停止$i 採集flume-------"
			ssh $i "ps -ef | grep file-flume-kafka | grep -v grep|awk '{print \$2}' | xargs kill"
		done
};;
esac

說明：

nohup，該命令可以在你退出帳戶/關閉終端之後繼續運行相應的進程。nohup就是不掛起的意思，不掛斷地運行命令。
awk默認分隔符爲空格
xargs 表示取出前面命令運行的結果，作爲後面命令的輸入參數。

增加腳本執行權限

chmod 777 f1.sh

啓動(~/bin/)

f1.sh start

停止

f1.sh stop

5 注意點

5.1 ResourceManager無法啓動

在部署ResourceManager節點上使用羣起命令。參考文章：java.net.BindException: Problem binding to [hadoop21:8031] java.net.BindException: 無法指定被請求的地址

5.2 java.io.EOFException: End of input at line 1 column 1

有時候啓動flume會報這個錯誤，是因爲讀取了空的log_position.json文件（這個文件是記錄flume讀取日誌文件位置，詳見4.2配置文件）。這個錯誤偶爾會遇到，是源碼的問題，2種方式解決：
- 刪除這個位置記錄文件後，再啓動flume
- flume1.8修復了這個問題，使用flume1.8（筆者採取了這個方式解決）
參考文章：求問使用flume 1.7 taildir時出現如下錯誤怎麼辦？

5.3 Flume1.8中文文檔（強烈推薦）

Flume1.8中文文檔：flume.liyifeng.org

數據倉庫 — 06_Flume的安裝與部署（Flume組成框架、Agent內部原理、安裝配置、日誌採集配置文件、攔截器的編寫、Flume羣起腳本、Flume啓動報錯解決）

文章目錄

1 概述

1.1 Flume定義

1.2 Flume組成架構

1.2.1 Agent

1.2.2 Source

1.2.3 Channel

1.2.4 Sink

1.2.5 Event

1.3 Flume拓撲結構

1.3.1 Agent連接

1.3.2 單source多channel、sink

1.3.3 負載均衡

1.3.4 Agent聚合

1.4 Flume Agent內部原理

2 Flume的安裝與配置

2.1 下載地址

2.2 安裝部署

3 項目經驗——flume組件

3.1 source

3.2 channel

4 日誌採集的flume配置

4.1 配置分析

4.2 flume的具體配置文件

4.3 攔截器

4.3.1 pom.xml

4.3.2 LogETLInterceptor

4.3.3 LogETLInterceptor

4.3.4 LogUtils

4.4 Flume羣起/停止腳本

5 注意點

5.1 ResourceManager無法啓動

5.2 java.io.EOFException: End of input at line 1 column 1

5.3 Flume1.8中文文檔（強烈推薦）