Flume 数据流监控

1.Ganglia 的安装与部署

  1. 安装httpd服务与php
[hadoop@hadoop102 flume]$ sudo yum -y install httpd php
  1. 安装其他依赖
[hadoop@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel
[hadoop@hadoop102 flume]$ sudo yum -y install apr-devel
  1. 安装ganglia
[hadoop@hadoop102 flume]$ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[hadoop@hadoop102 flume]$ sudo yum -y install ganglia-gmetad 
[hadoop@hadoop102 flume]$ sudo yum -y install ganglia-web
[hadoop@hadoop102 flume]$ sudo yum install -y ganglia-gmond

注意:如果这里安装不成功,可以去https://mirrors.tuna.tsinghua.edu.cn/epel/6/x86_64/Packages/下载相应的rpm包,导入到linux中,使用 rpm -ivh 包名 --force --nodeps来安装相应包

  1. 修改配置文件/etc/httpd/conf.d/ganglia.conf
[hadoop@hadoop102 flume]$ sudo vim /etc/httpd/conf.d/ganglia.conf

在这里插入图片描述

  1. 修改配置文件/etc/ganglia/gmetad.conf
[hadoop@hadoop102 flume]$ sudo vim /etc/ganglia/gmetad.conf

在这里插入图片描述

  1. 修改配置文件/etc/ganglia/gmond.conf
    在这里插入图片描述
  2. 修改配置文件/etc/selinux/config
    在这里插入图片描述
    提示:selinux本次生效关闭必须重启,如果此时不想重启,可以临时生效之:
[hadoop@hadoop102 flume]$ sudo setenforce 0
  1. 启动ganglia
[hadoop@hadoop102 flume]$ sudo service httpd start
[hadoop@hadoop102 flume]$ sudo service gmetad start
[hadoop@hadoop102 flume]$ sudo service gmond start
  1. 打开网页浏览ganglia页面
    http://192.168.1.102/ganglia
    尖叫提示:如果完成以上操作依然出现权限不足错误,请修改/var/lib/ganglia目录的权限:
[hadoop@hadoop102 flume]$ sudo chmod -R 777 /var/lib/ganglia

2.操作Flume测试监控

  1. 修改/opt/module/flume/conf目录下的flume-env.sh配置:
    JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.186.102:8649 -Xms100m -Xmx200m"
  2. 启动Flume任务
[hadoop@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/flume-telnet-logger.conf -Dflume.root.logger==INFO,console -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.186.102:8649
  1. 发送数据观察ganglia监测图
[hadoop@hadoop102 flume]$ nc localhost 44444

在这里插入图片描述
在这里插入图片描述
进入http://192.168.186.102/ganglia/
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.字段含义

字段(图表名称) 字段含义
EventPutAttemptCount source尝试写入channel的事件总数量
EventPutSuccessCount 成功写入channel且提交的事件总数量
EventTakeAttemptCount sink尝试从channel拉取事件的总数量。这不意味着每次事件都被返回,因为sink拉取的时候channel可能没有任何数据。
EventTakeSuccessCount sink成功读取的事件的总数量
StartTime channel启动的时间(毫秒)
StopTime channel停止的时间(毫秒)
ChannelSize 目前channel中事件的总数量
ChannelFillPercentage channel占用百分比
ChannelCapacity channel的容量
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章