shell腳本實現上傳日誌到ftp服務器
一.搭建ftp服務器
1.確認開啓ftp服務
打開---控制面板---程序---打開或關閉windows功能
2.添加ftp站點
打開:控制面板---系統和安全---管理工具---Internet信息服務
點擊---添加ftp站點
3.指定ftp站點的名稱以及物理路徑:
4.指定ftp站點的ip端口以及SSL
5.設置ftp站點的權限控制
6.完成ftp的配置
7.測試ftp站點:
8.指定ftp服務器的特定用戶
打開---計算機管理---用戶---添加新用戶
選擇---基本設置---連接爲---特定用戶---設置
二.shell腳本實現日誌上傳ftp服務器
日誌上傳ftp服務器的shell腳本submitLog_Day.sh如下(按天提交時):
#!/bin/bash
#讀取配置文件中相應的值
function readINI()
{
INI_VALUE=echo cat /opt/icbc/proxy/log.ini | grep $1 | awk '{print $3}'
echo ${INI_VALUE}
}
#讀取記錄已提交日誌的submitNotes.txt
function readLogNotes()
{
LogNote=echo cat /opt/icbc/logs/submitNotes.txt | grep $1 | grep $2 | grep $3 | grep $4 | grep $5 | awk '{print $8}'
echo ${LogNote}
}
#提交單個文件到ftp服務器
function submitFileTOftp()
{
ftp -n <<- EOF
open $1
user $2 $3
cd $4
lcd /opt/icbc/logs/
bin
put $5
bye
EOF
}
#echo "submitLog_Day.sh run" >> /opt/icbc/logs/submitNotes.txt
#判斷log.ini文件是否存在
filename="/opt/icbc/proxy/log.ini"
echo $filename
if [ ! -f $filename ]
then
echo "file not exist"
exit 0
else
echo "log.ini exist"
fi
#判斷logUploadCycle的類型:1:天 2:周 3:月
logUploadCycle=($(readINI logUploadCycle))
if [ $logUploadCycle = 1 ]
then
echo $logUploadCycle
else
exit 0
fi
ftpIp=($(readINI ftpIp))
echo $ftpIp
ftpUsername=($(readINI ftpUsername))
echo $ftpUsername
ftpPassword=($(readINI ftpPassword))
echo $ftpPassword
ftpPath=($(readINI ftpPath))
echo $ftpPath
YEAR=`date "+%Y"`
MONTH=`date "+%m"`
DAY=`date "+%d"`
System_Date="$YEAR-$MONTH-$DAY"
System_Date_s=`date -d "$System_Date" +%s`
System_Date_Dayago=`date -d "-1 day $System_Date" +%F`
System_Date_Dayago_s=`date -d "-1 day $System_Date" +%s`
Time_Interval=$(($System_Date_s-$System_Date_Dayago_s))
echo "Time_Interval" $Time_Interval
cd /opt/icbc/logs/
for file in ./*
do
if test -f $file
then
LogDate=`echo $file | cut -c 16-23`
echo $LogDate
if echo $LogDate | grep -Eq "[0-9]{4}[0-9]{2}[0-9]{2}" && date -d $LogDate +%Y%m%d >/dev/null 2>&1
then
echo "LogDate" $LogDate
LogDate_S=`date -d "$LogDate" +%s`
echo "LogDate_S" $LogDate_S
Log_Time_Interval=$(($System_Date_s-$LogDate_S))
echo "Log_Time_Interval" $Log_Time_Interval
if (($Log_Time_Interval > 0)) && (($Log_Time_Interval <= $Time_Interval))
then
#驗證ftp服務器上是否已經存在指定日誌
LogNote_Sign=($(readLogNotes $file $ftpIp $ftpUsername $ftpPassword $ftpPath))
echo "LogNote_Sign" $LogNote_Sign
if [ "$LogNote_Sign" = "" ]
then
submitFileTOftp $ftpIp $ftpUsername $ftpPassword $ftpPath $file
echo `date` "submit" $file "to" $ftpIp $ftpUsername $ftpPassword $ftpPath >> /opt/icbc/logs/submitNotes.txt
else
echo $file "已經提交過ftp服務器"
fi
fi
else
echo "illegal log date"
fi
fi
done
配置文件如下:
#ftp服務器地址
ftpIp = 192.168.0.183
#ftp用戶名
ftpUsername = wawawajs
#ftp用戶密碼
ftpPassword = 123123
#ftp路徑
ftpPath = /
#日誌上傳週期
#1 - 按天
#2 - 按星期
#3 - 按月
logUploadCycle = 1
#日誌上傳時間點
#0~24, 24小時整點時間點
#logUploadTime = 1
#日誌類型
#只以一種類型方式記錄
#1 - 按日期存儲
#2 - 按大小存儲
logTransferType = 0
#日誌大小
logTransferSize = 0
#日誌大小單位
#1 - KB
#2 - MB
#3 - GB
logSizeUnit = 0
#日誌分隔週期
#1 - 按天
#2 - 按星期
#3 - 按月
logTransferCycle = 1
#日誌級別
#0 - 關閉
#1 - 信息
#2 - 調試
logLevel = 2
日誌的命名格式爲:cfca_minisvs_20170131.log
三.shell腳本實現清除兩個月前的日誌
shell腳本clear_log.sh如下:
#!/bin/bash
YEAR=`date "+%Y"`
MONTH=`date "+%m"`
DAY=`date "+%d"`
System_Date="$YEAR-$MONTH-$DAY"
System_Date_s=`date -d "$System_Date" +%s`
System_Date_TwoMonthago=`date -d "-60 day $System_Date" +%F`
System_Date_TwoMonthago_s=`date -d "-60 day $System_Date" +%s`
Time_Interval=$(($System_Date_s-$System_Date_TwoMonthago_s))
echo "Time_Interval" $Time_Interval
cd /opt/icbc/logs/
for file in ./*
do
if test -f $file
then
LogDate=`echo $file | cut -c 16-23`
echo $LogDate
if echo $LogDate | grep -Eq "[0-9]{4}[0-9]{2}[0-9]{2}" && date -d $LogDate +%Y%m%d >/dev/null 2>&1
then
echo "LogDate" $LogDate
LogDate_S=`date -d "$LogDate" +%s`
echo "LogDate_S" $LogDate_S
Log_Time_Interval=$(($System_Date_s-$LogDate_S))
echo "Log_Time_Interval" $Log_Time_Interval
if (($Log_Time_Interval > $Time_Interval))
then
rm -rf $file
echo "刪除日誌文件:" $file
fi
else
echo "illegal log date"
fi
fi
done
三.contrab實現週期性定時執行任務
基本格式 :
* * * * * command
分 時 日 月 周 命令
第1列表示分鐘1~59 每分鐘用*或者 */1表示
第2列表示小時1~23(0表示0點)
第3列表示日期1~31
第4列表示月份1~12
第5列標識號星期0~6(0表示星期天)
第6列要運行的命令
crontab文件的一些例子:
30 21 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每晚的21:30重啓apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每月1、10、22日的4 : 45重啓apache。
10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每週六、週日的1 : 10重啓apache。
0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示在每天18 : 00至23 : 00之間每隔30分鐘重啓apache。
0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每星期六的11 : 00 pm重啓apache。
0 */1 * * * /usr/local/etc/rc.d/lighttpd restart
每一小時重啓apache
0 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart
晚上11點到早上7點之間,每隔一小時重啓apache
0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart
每月的4號與每週一到週三的11點重啓apache
0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart
一月一號的4點重啓apache
名稱 : crontab
使用權限 : 所有使用者
使用方式 :
crontab file [-u user]-用指定的文件替代目前的crontab。
crontab-[-u user]-用標準輸入替代目前的crontab.
crontab-1[user]-列出用戶目前的crontab.
crontab-e[user]-編輯用戶目前的crontab.
crontab-d[user]-刪除用戶目前的crontab.
crontab-c dir- 指定crontab的目錄。
crontab文件的格式:M H D m d cmd.
M: 分鐘(0-59)。
H:小時(0-23)。
D:天(1-31)。
m: 月(1-12)。
d: 一星期內的天(0~6,0爲星期天)。
cmd要運行的程序,程序被送入sh執行,這個shell只有USER,HOME,SHELL這三個環境變量
說明 :
crontab 是用來讓使用者在固定時間或固定間隔執行程序之用,換句話說,也就是類似使用者的時程表。-u user 是指設定指定
user 的時程表,這個前提是你必須要有其權限(比如說是 root)才能夠指定他人的時程表。如果不使用 -u user 的話,就是表示設
定自己的時程表。
參數 :
crontab -e : 執行文字編輯器來設定時程表,內定的文字編輯器是 VI,如果你想用別的文字編輯器,則請先設定 VISUAL 環境變數
來指定使用那個文字編輯器(比如說 setenv VISUAL joe)
crontab -r : 刪除目前的時程表
crontab -l : 列出目前的時程表
crontab file [-u user]-用指定的文件替代目前的crontab。
時程表的格式如下 :
f1 f2 f3 f4 f5 program
其中 f1 是表示分鐘,f2 表示小時,f3 表示一個月份中的第幾日,f4 表示月份,f5 表示一個星期中的第幾天。program 表示要執
行的程序。
當 f1 爲 * 時表示每分鐘都要執行 program,f2 爲 * 時表示每小時都要執行程序,其餘類推
當 f1 爲 a-b 時表示從第 a 分鐘到第 b 分鐘這段時間內要執行,f2 爲 a-b 時表示從第 a 到第 b 小時都要執行,其餘類推
當 f1 爲 */n 時表示每 n 分鐘個時間間隔執行一次,f2 爲 */n 表示每 n 小時個時間間隔執行一次,其餘類推
當 f1 爲 a, b, c,... 時表示第 a, b, c,... 分鐘要執行,f2 爲 a, b, c,... 時表示第 a, b, c...個小時要執行,其餘類推
使用者也可以將所有的設定先存放在檔案 file 中,用 crontab file 的方式來設定時程表。
例子 :
#每天早上7點執行一次 /bin/ls :
0 7 * * * /bin/ls
在 12 月內, 每天的早上 6 點到 12 點中,每隔3個小時執行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup
週一到週五每天下午 5:00 寄一封信給 [email protected] :
0 17 * * 1-5 mail -s "hi" [email protected] < /tmp/maildata
每月每天的午夜 0 點 20 分, 2 點 20 分, 4 點 20 分....執行 echo "haha"
20 0-23/2 * * * echo "haha"
注意 :
當程序在你所指定的時間執行後,系統會寄一封信給你,顯示該程序執行的內容,若是你不希望收到這樣的信,請在每一行空一格之
後加上 > /dev/null 2>&1 即可
例子2 :
#每天早上6點10分
10 6 * * * date
#每兩個小時
0 */2 * * * date
#晚上11點到早上8點之間每兩個小時,早上8點
0 23-7/2,8 * * * date
#每個月的4號和每個禮拜的禮拜一到禮拜三的早上11點
0 11 4 * mon-wed date
#1月份日早上4點
0 4 1 jan * date
範例
$crontab -l 列出用戶目前的crontab.
$crontab -e 編輯crontab文件
日誌上傳以及清除時的crontab文件如下:
0 0 * * * submitLog_Day.sh
0 0 * * 1 submitLog_Week.sh
0 0 1 * * submitLog_Month.sh
*/1 * * * * minisvs_rotate.sh
0 0 * * * clean_log.sh