前言
如果你從本文中學習到絲毫知識，那麼請您點點關注、點贊、評論和收藏
大家好，我是愛做夢的魚，我是東北大學大數據實驗班大三的小菜雞，非常渴望優秀，羨慕優秀的人。從5月25號我們開始了爲期兩個月的實習，我們需要做一個大型大數據項目，一個項目由三個學生+一個企業的項目經理完成。請大家持續關注我的專欄，我會每天更新。
專欄：大數據案例實戰——大三春招大數據開發
專欄：Spark官方文檔解讀【Spark2.4.5中英雙語】
博客地址：子浩的博客https://blog.csdn.net/weixin_43124279
歡迎大家關注微信公衆號【程序猿乾貨鋪】
一羣熱愛技術並且嚮往優秀的程序猿同學，不喜歡水文，不喜歡販賣焦慮，只喜歡談技術，分享的都是技術乾貨。Talk is cheap. Show me the code
一、flume （日誌收集系統） 簡介
Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方（可定製）的能力。
當前Flume有兩個版本Flume 0.9X版本的統稱Flume-og，Flume1.X版本的統稱Flume-ng。由於Flume-ng經過重大重構，與Flume-og有很大不同，使用時請注意區分。
1.日誌收集
Flume最早是Cloudera提供的日誌收集系統，是Apache下的一個孵化項目，Flume支持在日誌系統中定製各類數據發送方，用於收集數據。
2.優勢
- Flume可以將應用產生的數據存儲到任何集中存儲器中，比如HDFS,HBase
- 當收集數據的速度超過將寫入數據的時候，也就是當收集信息遇到峯值時，這時候收集的信息非常大，甚至超過了系統的寫入數據能力，這時候，Flume會在數據生產者和數據收容器間做出調整，保證其能夠在兩者之間提供平穩的數據.
- 提供上下文路由特徵
- Flume的管道是基於事務，保證了數據在傳送和接收時的一致性.
- Flume是可靠的，容錯性高的，可升級的，易管理的,並且可定製的。
二、Flume安裝
1.Flume安裝地址
1） Flume官網地址
http://flume.apache.org/
2）文檔查看地址
http://flume.apache.org/FlumeUserGuide.html
3）下載地址
http://archive.apache.org/dist/flume/
2.安裝部署
1）將apache-flume-1.9.0-bin.tar.gz上傳到linux的/BigData目錄下
2）解壓apache-flume-1.9.0-bin.tar.gz到/opt/module/目錄下
tar -zxf apache-flume-1.9.0-bin.tar.gz
3）修改apache-flume-1.9.0-bin的名稱爲flume-1.9.0
mv apache-flume-1.9.0-bin flume-1.9.0
4）將flume/conf下的flume-env.sh.template文件修改爲flume-env.sh，並配置flume-env.sh文件
mv flume-env.sh.template flume-env.sh
vim flume-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_151