maptail同時監控多臺web訪問日誌

  原本maptail可以在web服務器主機上部署進行實時查看web服務的訪問日誌，現在有多臺web都需要進行監控，有點麻煩，所以就使用一臺機器同時監控多臺，由於maptail的實質是tail -f的一個展示，所以結合這一點，也就是說maptail只需要有access_log即可，所以只需要把其他web機器上的訪問日誌同步過來即可，然後inotify+rsync講是一個不錯的選擇，rsync常用方式是“分發”，這次使用的是他的“匯聚”。大致結構如下：

 

配置整個過程：

一、升級Python到2.6~2.7

# mkdir /root/sourcesoft;cd !$
# wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz
# yum install gcc*
# tar -zxvf Python-2.7.3.tgz
# cd Python-2.7.3
# ./configure
# make;make install
# cd /usr/bin
# mv python python.bak
# ln -s /usr/local/bin/python python

二、安裝nodeJS 

# cd /root/sourcesoft
# wget http://nodejs.org/dist/v0.8.16/node-v0.8.16.tar.gz
# tar -zxvf node-v0.8.16.tar.gz
# cd node-v0.8.16
# ./configure
# make;make install

如果上述過程出現問題，可以有一下解決方式：

1.yum無法安裝軟件，提示一下錯誤：

注：如果升級過Python的話，此處可能會提示There was a problem importing one of the Python modules required to run yum.  

解決方法：

查找yum文件,並編輯此py文件
# which yum
/usr/bin/yum
# vi /usr/bin/yum
將
#!/usr/bin/python
改爲:
whereis python出來的結果
#!/usr/bin/python2.4

2.安裝nodejs的時候提示以下錯誤：

ImportError: No module named bz2

解決方法：
1.
# yum install -y bzip2*
2.
# cd Python-2.7/Modules/zlib
# ./configure ;make;make install
3.
# cd Python-2.7/
# python2.7 setup.py install

三、安裝maptail模塊並啓動

# npm install maptail -g

啓動：

# nohup /usr/bin/tail -f /var/log/httpd/access_log | /usr/local/bin/node /usr/local/bin/maptail -h 192.168.158.216 -p 8080 &

四、瀏覽：

在瀏覽器中輸入：http://192.168.158.216:8080即可訪問

 

五、拓展使用inotify+rsync實現同時監控多臺主機

1.安裝inotify

# tar xf inotify-tools-3.14.tar.gz
# cd inotify-tools-3.14
# ./configure && make && make install

2.配置：

192.168.158.219 ====>  192.168.158.216

219上的配置：

# vim /root/scripts/in_rsync.sh
#!/bin/bash
host1=192.168.158.216
src=/usr/local/apache/logs/web
dst1=weblog219
user1=root
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib  $src \
| while read files;do
/usr/bin/rsync -zrtopg   --delete --password-file=/etc/rsyncd.pass $src  $user1@$host1::$dst1 >/dev/null 2>&1
  echo "${files} was rsynced" >>/tmp/rsync.log 2>&1 >/dev/null
done

# vim /etc/rsyncd.pass
123456
# chmod 600 /etc/rsyncd.pass
# nohup /root/scripts/in_rsync.sh &

216上的配置：

# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections = 36000
strict modes = yes
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log format = %t %a %m %f %b
[weblog219]
path = /www/log219/
auth users = root
read only = no
hosts allow = 192.168.158.0/24
list = no
uid = root
gid = root
secrets file = /etc/rsyncd.pass
ignore errors = yes

# vim /etc/rsyncd.pass
root:123456
# chmod 600 /etc/rsyncd.pass
# /usr/bin/rsync --daemon