Flume 數據流監控

1.Ganglia 的安裝與部署

1. 安裝httpd服務與php

[hadoop@hadoop102 flume]$ sudo yum -y install httpd php

2. 安裝其他依賴

[hadoop@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel
[hadoop@hadoop102 flume]$ sudo yum -y install apr-devel

3. 安裝ganglia

[hadoop@hadoop102 flume]$ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[hadoop@hadoop102 flume]$ sudo yum -y install ganglia-gmetad 
[hadoop@hadoop102 flume]$ sudo yum -y install ganglia-web
[hadoop@hadoop102 flume]$ sudo yum install -y ganglia-gmond

注意：如果這裏安裝不成功，可以去https://mirrors.tuna.tsinghua.edu.cn/epel/6/x86_64/Packages/下載相應的rpm包，導入到linux中，使用 rpm -ivh 包名 --force --nodeps來安裝相應包

4. 修改配置文件/etc/httpd/conf.d/ganglia.conf

[hadoop@hadoop102 flume]$ sudo vim /etc/httpd/conf.d/ganglia.conf

5. 修改配置文件/etc/ganglia/gmetad.conf

[hadoop@hadoop102 flume]$ sudo vim /etc/ganglia/gmetad.conf

6. 修改配置文件/etc/ganglia/gmond.conf
   
7. 修改配置文件/etc/selinux/config
   
   提示：selinux本次生效關閉必須重啓，如果此時不想重啓，可以臨時生效之：

[hadoop@hadoop102 flume]$ sudo setenforce 0

8. 啓動ganglia

[hadoop@hadoop102 flume]$ sudo service httpd start
[hadoop@hadoop102 flume]$ sudo service gmetad start
[hadoop@hadoop102 flume]$ sudo service gmond start

9. 打開網頁瀏覽ganglia頁面
   http://192.168.1.102/ganglia
   尖叫提示：如果完成以上操作依然出現權限不足錯誤，請修改/var/lib/ganglia目錄的權限：

[hadoop@hadoop102 flume]$ sudo chmod -R 777 /var/lib/ganglia

2.操作Flume測試監控

1. 修改/opt/module/flume/conf目錄下的flume-env.sh配置：
   JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.186.102:8649 -Xms100m -Xmx200m"
2. 啓動Flume任務

[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/flume-telnet-logger.conf -Dflume.root.logger==INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.186.102:8649

3. 發送數據觀察ganglia監測圖

[hadoop@hadoop102 flume]$ nc localhost 44444

進入http://192.168.186.102/ganglia/

3.字段含義

字段（圖表名稱）	字段含義
EventPutAttemptCount	source嘗試寫入channel的事件總數量
EventPutSuccessCount	成功寫入channel且提交的事件總數量
EventTakeAttemptCount	sink嘗試從channel拉取事件的總數量。這不意味着每次事件都被返回，因爲sink拉取的時候channel可能沒有任何數據。
EventTakeSuccessCount	sink成功讀取的事件的總數量
StartTime	channel啓動的時間（毫秒）
StopTime	channel停止的時間（毫秒）
ChannelSize	目前channel中事件的總數量
ChannelFillPercentage	channel佔用百分比
ChannelCapacity	channel的容量