shell日誌分析--支持分析日誌訪問路徑，統計訪問IP，IPTABLES解與封

#!/bin/bash
#特性：
#1,可分析多個網站項目日誌
#2,每個網站項目日誌可根據關鍵字進行統計分析
#3,可調整訪問IP次數的閥值（超過多少次加入到牆）
#4,可調整IP封的時間
#5,可在定時任務修改分析日誌的時間間隔
#6,防火牆在封的時候進行了去重，不會封同樣的IP
#-----zhaoll@

##############################################################################################
#-----------------------------------------防火牆封IP-----------------------------------------#
##############################################################################################

#當前時間戳，用於比較drop_ip.log裏的時間戳
ip_diff_time=`date +%s`
IPTABLES=/sbin/iptables
#防火牆時間閥值--默認10分鐘，比較已封IP是否超過10分鐘，如果超過10分鐘，則解封
ip_return_time=$((10*60))
#ip_return_time=43200
#ip_return_time=86400

for i in `cat /data0/shells/drop_ip.log | awk -F ":" '{if('$ip_diff_time'-$1>='$ip_return_time'-60){print}}'`
do
IPLIST1=`echo $i | awk -F ":" '{print $1}'`
IPLIST2=`echo $i | awk -F ":" '{print $2}'`
        $IPTABLES -D INPUT -s $IPLIST2 -j DROP
        #ssh 10.19.1.200 "$IPTABLES -D INPUT -s $IPLIST2 -j DROP"
        echo ”$IPLIST2 已解封“
        sed -i '/'$IPLIST1'/d' /data0/shells/drop_ip.log
done
#sed -i '/'$IPLIST1'/d' /data0/shells/drop_ip.log

##############################################################################################
#------------------------------------------日誌分析------------------------------------------#
##############################################################################################

#清空整合日誌信息，進行新一次抽取
>/data1/logs/monitorlog.log

#需要監控的項目列表，如在添加日誌，可以此操作
server_project_list=( \
my.*.com_access.log \
kefu.*.com_access.log \
hu.*.com_access.log \
ask.*.com_access.log \
)

#循環抽取項目列表裏的日誌信息，
for (( i=0;i<=3;i=i+1 ))
do
url=/data1/logs/`echo ${server_project_list[$i]}`
echo $url

#日誌頭一行的日誌時間
headtime=`head -1 $url | awk -F: '{print $2":"$3}'`
#用於時間比較
h1=`echo $headtime | awk -F ":" '{print $1}'`
m1=`echo $headtime | awk -F ":" '{print $2}'`

#系統當前時間
nowtime=`date +"%H:%M"`

#取得叢1970-01-01到當前時間的時間戳
timestamp=`date +%s`

#設置要查看日誌的時間段,這裏默認1小時，可更改
#returntime=$((1*60*60))
returntime=$((10*60))

#計算出1小時之前的時間的時間戳
timeperiod=$(($timestamp-$returntime))

#轉換1小時之前的時間
oldtime=$(date -d '1970-01-01 UTC '$timeperiod' seconds' +"%H:%M")

#用於時間比較
h2=`echo $oldtime | awk -F ":" '{print $1}'`
m2=`echo $oldtime | awk -F ":" '{print $2}'`

#統計固定關鍵字的訪問記錄
if [ $url  == '/data1/logs/my.xoyo.com_access.log' ];then
key='isExist|NewIsExist|chargeHistory|normal'
else
key=''
fi

#之所以比較時間,是因爲日誌裏可能沒有1小時之前的時間,這樣程序就不會在執行操作,如果沒有想要的時間戳,那就使用日誌頭一行日誌的時間
if [ "$h2" -ge "$h1" -a "$m2" -ge "$m1" ];then

#截取規定時間內的日誌,日誌包括訪問IP和訪問頁面路徑,並取得另一負載機上的日誌信息進行合併到指定的文件裏

tail -150000 $url | awk '{print $1,$4,$11}' | sed -n "/${oldtime}:[0-9][0-9]/,/${nowtime}:[0-9][0-9]/p" | egrep "${key}" |awk '{print $1,$3}'>>/data1/logs/monitorlog.log
#tail -150000 $url | awk '{print $1,$4,$11}' | sed -n "/${oldtime}:[0-9][0-9]/,/${nowtime}:[0-9][0-9]/p" |awk '{print $1,$3}'| tee /data1/logs/test.log $url.log.count -
#echo "------------------------------------200服務器-$1-----------------------------------------">>/data1/logs/test.log
#ssh 10.19.1.200 "tail -200000 $url" | awk '{print $1,$4,$11}' | sed -n "/${oldtime}:[0-9][0-9]/,/${nowtime}:[0-9][0-9]/p" |awk '{print $1,$3}'>>/data1/logs/test.log

else

tail -150000 $url | awk '{print $1,$4,$11}' | sed -n "/${headtime}:[0-9][0-9]/,/${nowtime}:[0-9][0-9]/p" | egrep "${key}" |awk '{print $1,$3}'>>/data1/logs/monitorlog.log
#tail -150000 $url | awk '{print $1,$4,$11}' | sed -n "/${headtime}:[0-9][0-9]/,/${nowtime}:[0-9][0-9]/p" |awk '{print $1,$3}'| tee /data1/logs/test.log $url.log.count -
#echo "------------------------------------200服務器-$1-----------------------------------------">>/data1/logs/test.log
#ssh 10.19.1.200 "tail -200000 $url" | awk '{print $1,$4,$11}' | sed -n "/${headtime}:[0-9][0-9]/,/${nowtime}:[0-9][0-9]/p" |awk '{print $1,$3}'>>/data1/logs/test.log

fi

done

#純粹是爲了打日誌
echo "-------統計日誌IP---------">>/data0/shells/log_monitor.log
date>>/data0/shells/log_monitor.log
cat /data1/logs/monitorlog.log | sort | uniq -c | sort -n | grep -v "127.0.0.1" | grep  -v "219.141" | grep -v "219.239" | grep -v "10.19.1" |grep -v "114.255" | grep -v "117.79.148" | grep -v "61.152" | grep -v "61.129" | grep -v "218.24" | grep -v "221.237" | grep -v "221.4" | grep -v "113.106" | awk '{if($1>100){print}}'>>/data0/shells/log_monitor.log

#兩次排序去重，第一次是爲了取得訪問大行100次的數據，第二次是爲了取得最後的IP，添加循環判斷，因是爲了避免封同樣的IP
#cat /data1/logs/monitorlog.log | sort | uniq -c | sort -n | grep -v "127.0.0.1" | grep  -v "219.141" | grep -v "219.239" | grep -v "10.19.1" |grep -v "114.255" | grep -v "117.79.148" | grep -v "61.152" | grep -v "61.129" | grep -v "218.24" | grep -v "221.237" | grep -v "221.4" | grep -v "113.106" | awk '{if($1>100){print}}' | awk '{print $2}' | sort -n | uniq -c | awk '{print $2}'| sed  "s/^ */${timestamp}:/g" >>/data0/shells/drop_ip.log

for i in `cat /data1/logs/monitorlog.log | sort | uniq -c | sort -n | grep -v "127.0.0.1" | grep  -v "219.141" | grep -v "219.239" | grep -v "10.19.1" |grep -v "114.255" | grep -v "117.79.148" | grep -v "61.152" | grep -v "61.129" | grep -v "218.24" | grep -v "221.237" | grep -v "221.4" | grep -v "113.106" | awk '{if($1>100){print}}' | awk '{print $2}' | sort -n | uniq -c | awk '{print $2}'`
do
  if grep -q $i /data0/shells/drop_ip.log; then
     echo "IP已存在,$i"
  else
     echo "新IP，$i"
     echo $i| sed  "s/^ */${timestamp}:/g" >>/data0/shells/drop_ip.log
  fi
done

#################################################################################################
#-------------------------------------------防火牆封IP------------------------------------------#
#################################################################################################

IPTABLES=/sbin/iptables
#查找新添加的IP進行IPTABLES封IP
for i in `cat /data0/shells/drop_ip.log | awk -F ":" '{if($1== '${timestamp}'){print $2}}' | xargs`
do

        $IPTABLES -I INPUT -s $i -j DROP
        #ssh 10.19.1.200 "$IPTABLES -I INPUT -s $i -j DROP"
        echo "$i 已封"
done