Shell是一個用C語言編寫的程序，它是用戶使用Linux的橋樑。Shell既是一種命令語言，又是一種程序設計語言。在Linux系統中我們經常使用到Shell腳本進行功能實現，本章使用Shell腳本對日誌關鍵字進行監控並且在監控異常時進行郵件的自動告警。
一、安裝郵件服務器
下載地址：http://www.linuxfromscratch.org/blfs/view/7.6/basicnet/mailx.html
1.解壓
tar -jxf mailx-12.4.tar.bz2 -C /usr/src/ && cd /usr/src/mailx-12.4/
2.編譯
make install UCBINSTALL=/usr/bin/install
此時若報“make:***[openssl.o] 錯誤 1”則進行以下異常報錯解決方法：
下載mailx補丁文件“mailx-12.4-openssl_1.0.0_build_fix-1.patch”，將補丁文件和mailx解壓縮目錄放置同一路徑。
執行打補丁命令：
patch -p0 < mailx-12.4-openssl_1.0.0_build_fix-1.patch
進入mailx-12.4重新執行編譯命令：
make install UCBINSTALL=/usr/bin/install
檢測mailx是否安裝成功：mailx -V
3.配置
vi /etc/nail.rc，在文件的最後添加
set from="發件人郵箱"
set smtp="smtp服務器,例如qq爲smtp.qq.com,163爲stmp.163.com"
set smtp-auth-user="stmp服務器用戶"
set smtp-auth-password="smtp服務器密碼"
set smtp-auth=login
如下圖所示，修改配置完後保存
4.測試發送郵件
echo '郵件正文'|mailx -v -s "郵件標題" 郵箱地址
至此郵件功能測試正常，接下來是關鍵字監控腳本的編寫工作，通過日誌關鍵字腳本觸發郵件告警腳本實現日誌監控。
二、關鍵字監控腳本開發
包含以下文件：
CheckLogs.sh 日誌監控程序。
SendMail.sh 發郵件腳本，該腳本可自定義。
conf 配置文件目錄，chklist爲配置文件（根據實際情況進行維護）。
最後附上腳本相關代碼如下：
#!/bin/bash
basedir=$(cd `dirname "$0"`;pwd)
logsdir=$basedir/logs
tmpsdir=$basedir/tmps
confdir=$basedir/conf
chkfile=$confdir/chklist
logfile=$logsdir/log.log_$(date +%F)
#創建各種目錄
mkdir -p $logsdir $tmpsdir $confdir
#創建配置文件
if test ! -e "$chkfile";then
echo "#日誌文件,關鍵字(多關鍵字|隔開),重試次數,最大執行次數,啓動命令,停止命令" >$chkfile
fi
#生成日誌函數
do_writelog() {
case $1 in
i|I)
shift
echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|INFO|$@" >>$logfile
;;
e|E)
shift
echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|ERROR|$@" >>$logfile
;;
w|W)
shift
echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|WARNING|$@" >>$logfile
;;
*)
echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|DEBUG|$@" >>$logfile
esac
}
#日誌處理部分代碼
cat $chkfile|egrep -v "^($|#)"|while read i;do
(
app_name=$(echo "$i"|awk -F, '{print $1}')
if test -z "$app_name";then
do_writelog e "應用名稱爲空,退出執行"
exit 0
fi
log_filename=$(echo "$i"|awk -F, '{print $2}')
if test ! -e "$log_filename";then
do_writelog e "日誌文件($log_filename)不存在,退出執行"
exit 0
fi
log_md5sum=$(echo -n "$log_filename"|md5sum|awk '{print $1}')
log_gjz=$(echo "$i"|awk -F, '{print $3}')
if test -z "$log_gjz";then
do_writelog i "日誌文件($log_filename),關鍵字爲空,退出執行"
exit 0
fi
log_retry=$(echo "$i"|awk -F, '{print $4}')
expr $log_retry + 0 &>/dev/null
if [ $? -ne 0 ];then
log_retry=0
fi
log_max=$(echo "$i"|awk -F, '{print $5}')
expr $log_max + 0 &>/dev/null
if [ $? -ne 0 ];then
log_max=3
fi
start_command=$(echo "$i"|awk -F, '{print $6}')
stops_command=$(echo "$i"|awk -F, '{print $7}')
open_sendmail=$(echo "$i"|awk -F, '{print $8}')
mail_scripts=$(echo "$i"|awk -F, '{print $9}')
mail_contacts=$(echo "$i"|awk -F, '{print $10}')
if [ $open_sendmail -eq 1 ];then
if test -z "$mail_scripts";then
do_writelog i "應用($app_name),觸發動作腳本爲空,退出執行"
exit 0
fi
if test -z "$mail_contacts";then
do_writelog i "應用($app_name),聯繫人爲空,退出執行"
exit 0
fi
fi
if test ! -e "$tmpsdir/$log_md5sum";then
log_new_count=$(wc -l $log_filename|awk '{print $1}')
echo "$log_new_count" >$tmpsdir/$log_md5sum
do_writelog i "日誌文件($log_filename),初始化讀取日誌行數:$log_new_count,退出執行"
else
log_old_count=$(cat $tmpsdir/$log_md5sum)
expr $log_old_count + 0 &>/dev/null
if [ $? -ne 0 ];then
do_writelog e "日誌文件($log_filename),讀取歷史行數失敗,退出執行"
exit 0
fi
log_new_count=$(wc -l $log_filename|awk '{print $1}')
if [ $log_new_count -eq $log_old_count ];then
do_writelog i "日誌文件($log_filename),未更新,退出執行"
exit 0
elif [ $log_new_count -lt $log_old_count ];then
do_writelog i "日誌文件($log_filename),跨日更新日誌行數:$log_new_count,退出執行"
echo "$log_new_count" >$tmpsdir/$log_md5sum
else
log_upd_count=$(expr $log_new_count - $log_old_count)
do_writelog i "日誌文件($log_filename),歷史行數:$log_old_count,最新行數:$log_new_count,更新行數:$log_upd_count"
#讀取更新的日誌
log_content=$(tail -n +`expr $log_old_count + 1` $log_filename|head -n +$log_upd_count)
oldIFS=$IFS
IFS="|"
count=0
for i in $log_gjz;do
if [ $(echo "$log_content"|grep -c -w "$i") -ge 1 ];then
let count+=1
fi
if [ $count -gt 0 ];then
break
fi
done
IFS=$oldIFS
if [ $count -gt 0 ];then
echo "0" >>$tmpsdir/${log_md5sum}.retry
else
do_writelog i "日誌文件($log_filename),未獲取到關鍵字,退出執行"
echo "$log_new_count" >$tmpsdir/$log_md5sum
exit 0
fi
if [[ $(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}') -gt $log_retry ]];then
echo "0" >>$tmpsdir/${log_md5sum}_$(date +%F)
if [ $(wc -l $tmpsdir/${log_md5sum}_$(date +%F)|awk '{print $1}') -le $log_max ];then
$stops_command 1>>$logfile 2>&1
$start_command 1>>$logfile 2>&1
do_writelog i "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i,停止命令:$stops_command,啓動命令:$start_command,重啓服務"
if [ $open_sendmail -eq 1 ];then
if test -n "$mail_scripts";then
$mail_scripts "應用[$app_name]故障" "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i" "$mail_contacts" 1>>$logfile 2>&1
if [ $? -ne 0 ];then
do_writelog i "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i,觸發告警失敗"
fi
do_writelog i "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i,觸發告警通知聯繫人:[$mail_contacts]"
fi
else
do_writelog i "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i,不觸發告警"
fi
else
do_writelog i "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i,重啓服務超出當天限制次數:$log_max,退出執行"
fi
rm -f $tmpsdir/${log_md5sum}.retry &>/dev/null
else
do_writelog i "日誌文件($log_filename),日誌內容:$log_content,找到關鍵字:$i,重試檢測:$(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}')"
fi
echo "$log_new_count" >$tmpsdir/$log_md5sum
do_writelog i "日誌文件($log_filename),更新記次文件完成"
fi
fi
)&
done