shell腳本實現上傳日誌到ftp服務器

shell腳本實現上傳日誌到ftp服務器

一.搭建ftp服務器

1.確認開啓ftp服務

打開---控制面板---程序---打開或關閉windows功能

2.添加ftp站點

打開:控制面板---系統和安全---管理工具---Internet信息服務

點擊---添加ftp站點

3.指定ftp站點的名稱以及物理路徑:

4.指定ftp站點的ip端口以及SSL

5.設置ftp站點的權限控制

6.完成ftp的配置

7.測試ftp站點:

8.指定ftp服務器的特定用戶

打開---計算機管理---用戶---添加新用戶

選擇---基本設置---連接爲---特定用戶---設置

二.shell腳本實現日誌上傳ftp服務器

日誌上傳ftp服務器的shell腳本submitLog_Day.sh如下(按天提交時):

#!/bin/bash

#讀取配置文件中相應的值
function readINI()
{
	INI_VALUE=echo cat /opt/icbc/proxy/log.ini | grep $1 | awk '{print $3}'
	echo ${INI_VALUE}
}

#讀取記錄已提交日誌的submitNotes.txt
function readLogNotes()
{
	
	LogNote=echo cat /opt/icbc/logs/submitNotes.txt | grep $1 | grep $2 | grep $3 | grep $4 | grep $5 | awk '{print $8}'
	echo ${LogNote}
}

#提交單個文件到ftp服務器
function submitFileTOftp()
{
        ftp -n <<- EOF
        open $1
        user $2 $3
        cd $4
        lcd /opt/icbc/logs/
        bin
        put $5
        bye
		EOF
}


#echo "submitLog_Day.sh run" >> /opt/icbc/logs/submitNotes.txt

#判斷log.ini文件是否存在
filename="/opt/icbc/proxy/log.ini"
echo $filename
if [ ! -f $filename ]
then
	echo "file not exist"
	exit 0
else
	echo "log.ini exist"
fi

#判斷logUploadCycle的類型:1:天 2:周 3:月
logUploadCycle=($(readINI logUploadCycle))
if [ $logUploadCycle = 1 ]
then
	echo $logUploadCycle
	
else
	exit 0
fi

ftpIp=($(readINI ftpIp))
echo $ftpIp
ftpUsername=($(readINI ftpUsername))
echo $ftpUsername
ftpPassword=($(readINI ftpPassword))
echo $ftpPassword
ftpPath=($(readINI ftpPath))
echo $ftpPath

YEAR=`date "+%Y"`
MONTH=`date "+%m"`
DAY=`date "+%d"`
System_Date="$YEAR-$MONTH-$DAY"
System_Date_s=`date -d "$System_Date" +%s`
System_Date_Dayago=`date -d "-1 day $System_Date" +%F`
System_Date_Dayago_s=`date -d "-1 day $System_Date" +%s`
Time_Interval=$(($System_Date_s-$System_Date_Dayago_s))
echo "Time_Interval" $Time_Interval
cd /opt/icbc/logs/
for file in ./*
do
	if test -f $file
	then
		LogDate=`echo $file | cut -c 16-23`
		echo $LogDate
		if echo $LogDate | grep -Eq "[0-9]{4}[0-9]{2}[0-9]{2}" && date -d $LogDate +%Y%m%d >/dev/null 2>&1
		then
			echo "LogDate" $LogDate
			LogDate_S=`date -d "$LogDate" +%s`
			echo "LogDate_S" $LogDate_S
			Log_Time_Interval=$(($System_Date_s-$LogDate_S))
			echo "Log_Time_Interval" $Log_Time_Interval	
			if (($Log_Time_Interval > 0)) && (($Log_Time_Interval <= $Time_Interval))
			then
				#驗證ftp服務器上是否已經存在指定日誌
				LogNote_Sign=($(readLogNotes $file $ftpIp $ftpUsername $ftpPassword $ftpPath))
				echo "LogNote_Sign" $LogNote_Sign
				if [ "$LogNote_Sign" = "" ]
				then
					submitFileTOftp $ftpIp $ftpUsername $ftpPassword $ftpPath $file
					echo `date` "submit" $file "to" $ftpIp $ftpUsername $ftpPassword $ftpPath >> /opt/icbc/logs/submitNotes.txt
				else
					echo $file "已經提交過ftp服務器"
				fi
			fi
		else
			echo "illegal log date"
		fi
	fi
done
配置文件如下:

#ftp服務器地址
ftpIp = 192.168.0.183
#ftp用戶名
ftpUsername = wawawajs
#ftp用戶密碼
ftpPassword = 123123
#ftp路徑
ftpPath = /
#日誌上傳週期
#1 - 按天
#2 - 按星期
#3 - 按月
logUploadCycle = 1
#日誌上傳時間點
#0~24, 24小時整點時間點
#logUploadTime = 1
#日誌類型
#只以一種類型方式記錄
#1 - 按日期存儲
#2 - 按大小存儲
logTransferType = 0
#日誌大小
logTransferSize = 0
#日誌大小單位
#1 - KB
#2 - MB
#3 - GB
logSizeUnit = 0
#日誌分隔週期
#1 - 按天
#2 - 按星期
#3 - 按月
logTransferCycle = 1
#日誌級別
#0 - 關閉
#1 - 信息
#2 - 調試
logLevel = 2

日誌的命名格式爲:cfca_minisvs_20170131.log

三.shell腳本實現清除兩個月前的日誌

shell腳本clear_log.sh如下:

#!/bin/bash

YEAR=`date "+%Y"`
MONTH=`date "+%m"`
DAY=`date "+%d"`

System_Date="$YEAR-$MONTH-$DAY"
System_Date_s=`date -d "$System_Date" +%s`

System_Date_TwoMonthago=`date -d "-60 day $System_Date" +%F`
System_Date_TwoMonthago_s=`date -d "-60 day $System_Date" +%s`


Time_Interval=$(($System_Date_s-$System_Date_TwoMonthago_s))
echo "Time_Interval" $Time_Interval

cd /opt/icbc/logs/
for file in ./*
do
	if test -f $file
	then
		LogDate=`echo $file | cut -c 16-23`
		echo $LogDate
		if echo $LogDate | grep -Eq "[0-9]{4}[0-9]{2}[0-9]{2}" && date -d $LogDate +%Y%m%d >/dev/null 2>&1
		then
			echo "LogDate" $LogDate
			LogDate_S=`date -d "$LogDate" +%s`
			echo "LogDate_S" $LogDate_S
			Log_Time_Interval=$(($System_Date_s-$LogDate_S))
			echo "Log_Time_Interval" $Log_Time_Interval	
			if (($Log_Time_Interval > $Time_Interval))
			then
				rm -rf $file
				echo "刪除日誌文件:" $file
			fi
		else
			echo "illegal log date"
		fi
	fi
done


三.contrab實現週期性定時執行任務

基本格式 :
*  *  *  *  *  command
分 時 日 月 周 命令
第1列表示分鐘1~59 每分鐘用*或者 */1表示
第2列表示小時1~23(0表示0點)
第3列表示日期1~31
第4列表示月份1~12
第5列標識號星期0~6(0表示星期天)
第6列要運行的命令
crontab文件的一些例子:
30 21 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每晚的21:30重啓apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每月1、10、22日的4 : 45重啓apache。
10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每週六、週日的1 : 10重啓apache。
0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示在每天18 : 00至23 : 00之間每隔30分鐘重啓apache。
0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每星期六的11 : 00 pm重啓apache。
0 */1 * * * /usr/local/etc/rc.d/lighttpd restart
每一小時重啓apache
0 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart
晚上11點到早上7點之間,每隔一小時重啓apache
0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart
每月的4號與每週一到週三的11點重啓apache
0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart
一月一號的4點重啓apache
名稱 : crontab
使用權限 : 所有使用者
使用方式 :
crontab file [-u user]-用指定的文件替代目前的crontab。
crontab-[-u user]-用標準輸入替代目前的crontab.
crontab-1[user]-列出用戶目前的crontab.
crontab-e[user]-編輯用戶目前的crontab.
crontab-d[user]-刪除用戶目前的crontab.
crontab-c dir- 指定crontab的目錄。
crontab文件的格式:M H D m d cmd.
M: 分鐘(0-59)。
H:小時(0-23)。
D:天(1-31)。
m: 月(1-12)。
d: 一星期內的天(0~6,0爲星期天)。
cmd要運行的程序,程序被送入sh執行,這個shell只有USER,HOME,SHELL這三個環境變量
說明 :
crontab 是用來讓使用者在固定時間或固定間隔執行程序之用,換句話說,也就是類似使用者的時程表。-u user 是指設定指定
user 的時程表,這個前提是你必須要有其權限(比如說是 root)才能夠指定他人的時程表。如果不使用 -u user 的話,就是表示設
定自己的時程表。
參數 :
crontab -e : 執行文字編輯器來設定時程表,內定的文字編輯器是 VI,如果你想用別的文字編輯器,則請先設定 VISUAL 環境變數
來指定使用那個文字編輯器(比如說 setenv VISUAL joe)
crontab -r : 刪除目前的時程表
crontab -l : 列出目前的時程表
crontab file [-u user]-用指定的文件替代目前的crontab。
時程表的格式如下 :
f1 f2 f3 f4 f5 program
其中 f1 是表示分鐘,f2 表示小時,f3 表示一個月份中的第幾日,f4 表示月份,f5 表示一個星期中的第幾天。program 表示要執
行的程序。
當 f1 爲 * 時表示每分鐘都要執行 program,f2 爲 * 時表示每小時都要執行程序,其餘類推
當 f1 爲 a-b 時表示從第 a 分鐘到第 b 分鐘這段時間內要執行,f2 爲 a-b 時表示從第 a 到第 b 小時都要執行,其餘類推
當 f1 爲 */n 時表示每 n 分鐘個時間間隔執行一次,f2 爲 */n 表示每 n 小時個時間間隔執行一次,其餘類推
當 f1 爲 a, b, c,... 時表示第 a, b, c,... 分鐘要執行,f2 爲 a, b, c,... 時表示第 a, b, c...個小時要執行,其餘類推
使用者也可以將所有的設定先存放在檔案 file 中,用 crontab file 的方式來設定時程表。
例子 :
#每天早上7點執行一次 /bin/ls :
0 7 * * * /bin/ls
在 12 月內, 每天的早上 6 點到 12 點中,每隔3個小時執行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup
週一到週五每天下午 5:00 寄一封信給 [email protected] :
0 17 * * 1-5 mail -s "hi" [email protected] < /tmp/maildata
每月每天的午夜 0 點 20 分, 2 點 20 分, 4 點 20 分....執行 echo "haha"
20 0-23/2 * * * echo "haha"
注意 :
當程序在你所指定的時間執行後,系統會寄一封信給你,顯示該程序執行的內容,若是你不希望收到這樣的信,請在每一行空一格之
後加上 > /dev/null 2>&1 即可
例子2 :
#每天早上6點10分
10 6 * * * date
#每兩個小時
0 */2 * * * date
#晚上11點到早上8點之間每兩個小時,早上8點
0 23-7/2,8 * * * date
#每個月的4號和每個禮拜的禮拜一到禮拜三的早上11點
0 11 4 * mon-wed date
#1月份日早上4點
0 4 1 jan * date
範例
$crontab -l 列出用戶目前的crontab.

$crontab -e 編輯crontab文件


日誌上傳以及清除時的crontab文件如下:

0 0 * * * submitLog_Day.sh
0 0 * * 1 submitLog_Week.sh
0 0 1 * * submitLog_Month.sh
*/1 * * * * minisvs_rotate.sh
0 0 * * * clean_log.sh




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章