需求： 使用shell定製各種個性化告警工具，但需要統一化管理、規範化管理。
思路：指定一個腳本包，包含主程序、子程序、配置文件、郵件引擎、輸出日誌等。
主程序：作爲整個腳本的入口，是整個系統的命脈。
配置文件：是一個控制中心，用它來開關各個子程序，指定各個相關聯的日誌文件。
子程序：這個纔是真正的監控腳本，用來監控各個指標。
郵件引擎：是由一個php程序來實現，它可以定義發郵件的服務器、發郵件人以及收郵件人。
輸出日誌：整個監控系統要有日誌輸出。
要求：我們的機器角色多種多樣，但是所有機器上都要部署同樣的監控系統，也就說所有機器不管什麼角色，整個程序框架都是一致的，不同的地方在於根據不同的角色，定製不同的配置文件。
程序架構：
（主目錄 mon）
____________________|_______________________________
| | | | |
bin conf shares mail log
| | | | |
[main.sh] [ mon.conf] [load.sh 502.sh] [mail.php mail.sh] [ mon.log err.log ]
bin下是主程序
conf下是配置文件
shares下是各個監控腳本
mail下是郵件引擎
log下是日誌。
1. main.sh
#!/bin/bash
#Written by aming.
# 是否發送郵件的開關
export send=1 //對send進行環境變量賦值：1爲開，0爲關。如果關閉則郵件不會發送，當你已經知道並着手時可以將此設置爲0
# 過濾ip地址
export addr=`/sbin/ifconfig |grep -A1 'eth0' |grep addr: |awk '{print $2}'|awk -F: '{print $2}'` //對addr進行環境變量賦值：addr=本機IP
dir=`pwd` //dir爲當前目錄路徑
# 只需要最後一級目錄名
last_dir=`echo $dir|awk -F'/' '{print $NF}'` //awk出最後一段內容即當前目錄
# 下面的判斷目的是，保證執行腳本的時候，我們在bin目錄裏，不然監控腳本、郵件和日誌很有可能找不（但是我覺得這裏有bug，萬一main.sh的bin目錄是在其它路徑下呢）
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
conf_file="../conf/mon.conf" //如果目錄存在則進行變量賦值（這裏我們需要將各個配置和腳本放在指定的目錄下
else
echo "you shoud cd bin dir //如果目錄不對則在窗口打印出提示，退出主程
exit
fi
#目錄正確條件下
exec 1>>../log/mon.log 2>>../log/err.log //標準輸出追加重定向到mon.log；錯誤追加到err.lo
echo "`date +"%F %T"` load average" //打印出 時間 ，執行load.sh腳
/bin/bash ../shares/load.sh
#先檢查配置文件中是否需要監控502
if grep -q 'to_mon_502=1' $conf_file; then //grep -q 只作爲判斷條件，若1則對log進行環境變量賦值，即mon.conf中的/data/log/xxx.xxx.com/access.log，執行502.sh腳本
export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
/bin/bash ../shares/502.sh
fi
主程序只添加了502監控，根據需求我們可以在mon.conf和main.sh中按模板添加監控項目。但是需要將整個告警系統copy過去，保證系統的完整性。
2. 配置文件 mon.conf
## to config the options if to monitor
## cdb 主要定義mysql的服務器地址、端口以及user、password
to_mon_cdb=0 ##0 or 1, default 0,0 not monitor, 1 monitor
cdb_ip=10.20.3.13
cdb_port=3315
cdb_user=username
cdb_pass=passwd
## httpd 如果是1則監控，爲0不監控
to_mon_httpd=0
## php 如果是1則監控，爲0不監控
to_mon_php_socket=0
## http_code_502 需要定義訪問日誌的路徑
to_mon_502=1
logfile=/data/log/xxx.xxx.com/access.log
## request_count 定義日誌路徑以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net
mon.conf配置文件還是很好理解的。
3. load.sh
#! /bin/bash
##Writen by aming##
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1` //load是1分鐘負載的整數部分數值
if [ $load -gt 20 ] && [ $send -eq "1" ] //如果負載大於20（具體看自己系統硬件條件）且開啓發送郵件則將“時間+負載”重定向到load.tmp，執行發送郵件腳本“$1 $2” $3，“$1 $2”是主題，$3是內容，跟mail.sh格式相同
echo "$addr `date +%T` load is $load" >../log/load.tmp
/bin/bash ../mail/mail.sh $addr\_load $load ../log/load.tmp
fi
echo "`date +%T` load is $load" //打印“時間+負載”
4. 502.sh
#! /bin/bash
d=`date -d "-1 min" +%H:%M` //將一分鐘前的時間賦值給d
c_502=`grep :$d: $log |grep ' 502 '|wc -l` //過濾統計/data/log/xxx.xxx.com/access.log中502的次數
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then //如果一分鐘前日誌中502的次數超過10次，且郵件開，則將“IP+時間+502次數”重定向到502.tmp，發送郵件
echo "$addr $d 502 count is $c_502">../log/502.tmp
/bin/bash ../mail/mail.sh $addr\_502 $c_502 ../log/502.tmp
fi
echo "`date +%T` 502 $c_502" //打印“時間+502次數”
*擴展disk.sh
#! /bin/bash
##Writen by aming##
rm -f ../log/disk.tmp
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use` //過濾出磁盤Use的三個數據
do
if [ $r -gt 90 ] && [ $send -eq "1" ] //如果有數據大於90，且郵件開，則將“時間+Use值追加重定向到disk.tmp（遺憾的是不清楚是哪個盤Use大於90）
then
echo "$addr `date +%T` disk useage is $r" >>../log/disk.tmp
fi
if [ -f ../log/disk.tmp ]
then
df -h >> ../log/disk.tmp
/bin/bash ../mail/mail.sh $addr\_disk $r ../log/disk.tmp
echo "`date +%T` disk useage is nook"
else
echo "`date +%T` disk useage is ok"
fi
5. mail.php
<?php
class Smtp
{
/* Public Variables */
var $smtp_port;
var $time_out;
var $host_name;
var $log_file;
var $relay_host;
var $debug;
var $auth;
var $user;
var $pass;
/* Private Variables */
var $sock;
/* Constractor */
function Smtp($relay_host = "", $smtp_port = 25,$auth = false,$user,$pass)
{
$this->debug = FALSE;
$this->smtp_port = $smtp_port;
$this->relay_host = $relay_host;
$this->time_out = 30; //is used in fsockopen()
#
$this->auth = $auth;//auth
$this->user = $user;
$this->pass = $pass;
#
$this->host_name = "localhost"; //is used in HELO command
$this->log_file = "";
$this->sock = FALSE;
}
/* Main Function */
function sendmail($to, $from, $subject = "", $body = "", $mailtype, $cc = "", $bcc = "", $additional_headers = "")
{
$mail_from = $this->get_address($this->strip_comment($from));
$body = ereg_replace("(^|(\r\n))(\.)", "\1.\3", $body);
$header = "MIME-Version:1.0\r\n";
if($mailtype=="HTML"){
$header .= "Content-Type:text/html\r\n";
}
$header .= "To: ".$to."\r\n";
if ($cc != "") {
$header .= "Cc: ".$cc."\r\n";
}
$header .= "From: $from<".$from.">\r\n";
$header .= "Subject: ".$subject."\r\n";
$header .= $additional_headers;
$header .= "Date: ".date("r")."\r\n";
$header .= "X-Mailer:By Redhat (PHP/".phpversion().")\r\n";
list($msec, $sec) = explode(" ", microtime());
$header .= "Message-ID: <".date("YmdHis", $sec).".".($msec*1000000).".".$mail_from.">\r\n";
$TO = explode(",", $this->strip_comment($to));
if ($cc != "") {
$TO = array_merge($TO, explode(",", $this->strip_comment($cc)));
}
if ($bcc != "") {
$TO = array_merge($TO, explode(",", $this->strip_comment($bcc)));
}
$sent = TRUE;
foreach ($TO as $rcpt_to) {
$rcpt_to = $this->get_address($rcpt_to);
if (!$this->smtp_sockopen($rcpt_to)) {
$this->log_write("Error: Cannot send email to ".$rcpt_to."\n");
$sent = FALSE;
continue;
}
if ($this->smtp_send($this->host_name, $mail_from, $rcpt_to, $header, $body)) {
$this->log_write("E-mail has been sent to <".$rcpt_to.">\n");
} else {
$this->log_write("Error: Cannot send email to <".$rcpt_to.">\n");
$sent = FALSE;
}
fclose($this->sock);
$this->log_write("Disconnected from remote host\n");
}
return $sent;
}
/* Private Functions */
function smtp_send($helo, $from, $to, $header, $body = "")
{
if (!$this->smtp_putcmd("HELO", $helo)) {
return $this->smtp_error("sending HELO command");
}
#auth
if($this->auth){
if (!$this->smtp_putcmd("AUTH LOGIN", base64_encode($this->user))) {
return $this->smtp_error("sending HELO command");
}
if (!$this->smtp_putcmd("", base64_encode($this->pass))) {
return $this->smtp_error("sending HELO command");
}
}
#
if (!$this->smtp_putcmd("MAIL", "FROM:<".$from.">")) {
return $this->smtp_error("sending MAIL FROM command");
}
if (!$this->smtp_putcmd("RCPT", "TO:<".$to.">")) {
return $this->smtp_error("sending RCPT TO command");
}
if (!$this->smtp_putcmd("DATA")) {
return $this->smtp_error("sending DATA command");
}
if (!$this->smtp_message($header, $body)) {
return $this->smtp_error("sending message");
}
if (!$this->smtp_eom()) {
return $this->smtp_error("sending . [EOM]");
}
if (!$this->smtp_putcmd("QUIT")) {
return $this->smtp_error("sending QUIT command");
}
return TRUE;
}
function smtp_sockopen($address)
{
if ($this->relay_host == "") {
return $this->smtp_sockopen_mx($address);
} else {
return $this->smtp_sockopen_relay();
}
}
function smtp_sockopen_relay()
{
$this->log_write("Trying to ".$this->relay_host.":".$this->smtp_port."\n");
$this->sock = @fsockopen($this->relay_host, $this->smtp_port, $errno, $errstr, $this->time_out);
if (!($this->sock && $this->smtp_ok())) {
$this->log_write("Error: Cannot connenct to relay host ".$this->relay_host."\n");
$this->log_write("Error: ".$errstr." (".$errno.")\n");
return FALSE;
}
$this->log_write("Connected to relay host ".$this->relay_host."\n");
return TRUE;
}
function smtp_sockopen_mx($address)
{
$domain = ereg_replace("^.+@([^@]+)[ DISCUZ_CODE_5 ]quot;, "\1", $address);
if (!@getmxrr($domain, $MXHOSTS)) {
$this->log_write("Error: Cannot resolve MX \"".$domain."\"\n");
return FALSE;
}
foreach ($MXHOSTS as $host) {
$this->log_write("Trying to ".$host.":".$this->smtp_port."\n");
$this->sock = @fsockopen($host, $this->smtp_port, $errno, $errstr, $this->time_out);
if (!($this->sock && $this->smtp_ok())) {
$this->log_write("Warning: Cannot connect to mx host ".$host."\n");
$this->log_write("Error: ".$errstr." (".$errno.")\n");
continue;
}
$this->log_write("Connected to mx host ".$host."\n");
return TRUE;
}
$this->log_write("Error: Cannot connect to any mx hosts (".implode(", ", $MXHOSTS).")\n");
return FALSE;
}
function smtp_message($header, $body)
{
fputs($this->sock, $header."\r\n".$body);
$this->smtp_debug("> ".str_replace("\r\n", "\n"."> ", $header."\n> ".$body."\n> "));
return TRUE;
}
function smtp_eom()
{
fputs($this->sock, "\r\n.\r\n");
$this->smtp_debug(". [EOM]\n");
return $this->smtp_ok();
}
function smtp_ok()
{
$response = str_replace("\r\n", "", fgets($this->sock, 512));
$this->smtp_debug($response."\n");
if (!ereg("^[23]", $response)) {
fputs($this->sock, "QUIT\r\n");
fgets($this->sock, 512);
$this->log_write("Error: Remote host returned \"".$response."\"\n");
return FALSE;
}
return TRUE;
}
function smtp_putcmd($cmd, $arg = "")
{
if ($arg != "") {
if($cmd=="") $cmd = $arg;
else $cmd = $cmd." ".$arg;
}
fputs($this->sock, $cmd."\r\n");
$this->smtp_debug("> ".$cmd."\n");
return $this->smtp_ok();
}
function smtp_error($string)
{
$this->log_write("Error: Error occurred while ".$string.".\n");
return FALSE;
}
function log_write($message)
{
$this->smtp_debug($message);
if ($this->log_file == "") {
return TRUE;
}
$message = date("M d H:i:s ").get_current_user()."[".getmypid()."]: ".$message;
if (!@file_exists($this->log_file) || !($fp = @fopen($this->log_file, "a"))) {
$this->smtp_debug("Warning: Cannot open log file \"".$this->log_file."\"\n");
return FALSE;;
}
flock($fp, LOCK_EX);
fputs($fp, $message);
fclose($fp);
return TRUE;
}
function strip_comment($address)
{
$comment = "\([^()]*\)";
while (ereg($comment, $address)) {
$address = ereg_replace($comment, "", $address);
}
return $address;
}
function get_address($address)
{
$address = ereg_replace("([ \t\r\n])+", "", $address);
$address = ereg_replace("^.*<(.+)>.*[ DISCUZ_CODE_5 ]quot;, "\1", $address);
return $address;
}
function smtp_debug($message)
{
if ($this->debug) {
echo $message;
}
}
}
$file = $argv[2];
$smtpserver = "smtp.qq.com";//SMTP服務器
$smtpserverport = "25";//SMTP服務器端口
$smtpusermail = "[email protected]";//SMTP服務器的用戶郵箱
$smtpemailto = "[email protected]";//發送給誰
$smtpuser = "1198658";//SMTP服務器的用戶帳號
$smtppass = "1212lss";//SMTP服務器的用戶密碼 （注意的是：這個密碼是郵箱的獨立祕密，而不是郵箱的登陸密碼）
$mailsubject = $argv[1];//郵件主題
$mailbody = file_get_contents($file);//郵件內容
$mailtype = "HTML";//郵件格式（HTML/TXT）,TXT爲文本郵件
$smtp = new smtp($smtpserver,$smtpserverport,true,$smtpuser,$smtppass);//這裏面的一個true是表示使用身份驗證,否則不使用身份驗證.
//$smtp->debug = TRUE;//是否顯示發送的調試信息
$smtp->sendmail($smtpemailto, $smtpusermail, $mailsubject, $mailbody, $mailtype);
?>
好吧，不懂php，只能將參數理一理。
要想發郵件的話，首先要有php支持，若你沒有安裝過lamp或者lnmp，則需要運行yum install -y php 安裝。
然後運行 php mail.php "郵箱主題寫在這裏" "/tmp/test.txt" 。其中，/tmp/test.txt 內容爲郵件內容。
6. mail.sh
log=$1 //$1是發送郵件時的$1，比如502.sh中的$addr\_502
t_s=`date +%s` //記錄當前時間
t_s2=`date -d "2 hours ago" +%s` //記錄2個小時之前的時間
if [ ! -f /tmp/$log ] //如果文件不存在，則將2個小時之前的時間重定向到這個文件
then
echo $t_s2 > /tmp/$log
fi
t_s2=`tail -1 /tmp/$log|awk '{print $1}'` //如果文件存在，將這個文件最後一個時間賦值給ts_2
echo $t_s>>/tmp/$log //將當前時間追加重定向到這個文件中
v=$[$t_s-$t_s2] //記錄倆次時間的間隔
echo $v
if [ $v -gt 3600 ] //第一次執行這個腳本時，因爲/tmp/$log的最後一個時間是2個小時之前，相當於7200,肯定是大於3600的，所以會先發送一份郵件；但如果後面一直報警（要注意的是我們在crontab任務計劃中是1分鐘執行一次main.sh），$v會小於3600也就是1小時，則腳本會不發送郵件，而對$log.txt裏的數值從0進行累加，直到大於10，再發送一封郵件，並重新將0重定向到$log.txt，等待下一輪10
then
/dir/to/php ../mail/mail.php "$1 $2" "$3"
echo "0" > /tmp/$log.txt
else
if [ ! -f /tmp/$log.txt ]
then
echo "0" > /tmp/$log.txt
fi
nu=`cat /tmp/$log.txt`
nu2=$[$nu+1]
echo $nu2>/tmp/$log.txt
if [ $nu2 -gt 10 ]
then
/dir/to/php ../mail/mail.php "trouble continue 10 min $1 $2 " "$3"
echo "0" > /tmp/$log.txt
fi
fi