清除過期日誌的py腳本

本篇和大家分享的是一個清除過期日誌的python腳本，年後第二篇希望對大家有幫助；

• 該python腳本創建的由來
• 代碼及分析
• crontab定時任務

該python腳本創建的由來

此由來，是在過年假期時突然被反饋告警服務器磁盤空間佔用比例增大，當時通過df等命令定位到，是使用了某個開源任務調度框架日誌增大並之前很多歷史日誌沒有自動刪除導致的；

因此，查看該框架的文檔是否有自動清除配置，暫時沒有找到自動清除日誌的配置說明，於是乎瀏覽源碼就是log4來記錄的，本來打算擴展重寫下log4讓其具有自動清除日誌的功能，但是想到以後可能還有其他項目的日誌無法自動清除，於是乎有了本篇分享的python產出，僅僅配置下檢測路徑即可刪除自定義n天之前的日誌

代碼及分析

先來上代碼，具體如下：

#!  /usr/bin/python
#coding=utf-8
import os
import datetime
import time


class DoFile():
    # 獲取某個磁盤路徑裏所有文件
    def getFiles(self, strDir, isLoop, overDay):
        files = []
        if len(strDir) <= 0 or not os.path.exists(strDir):
            return files
        dirs = os.listdir(strDir)
        for dir in dirs:
            path = os.path.join(strDir, dir)
            if(os.path.isfile(path) and path.find(".log") >= 0):  # 是.log文件
                if(self.compareFileTime(path, -overDay)):
                    files.append(path)
            elif(os.path.isdir(path) and isLoop):  # 是磁盤
               files.extend(self.getFiles(path, isLoop, overDay))
            else:
                continue
        return files

    # 綜合處理磁盤文件
    def doFiles(self, clearDirs, isLoop=False, overDay=3):
        print(datetime.datetime.now().strftime("%Y-%m-%d %H:%M")+":執行中...")
        for dir in clearDirs:
           files = self.getFiles(dir, isLoop, overDay)
           print("{}查詢出{}個文件".format(dir, len(files)))
           self.clearFiles(files)
        print("執行完畢...")

    # 清除文本文件
    def clearFiles(self, files):
        for file in files:
            strcmd = "rm -rf {}".format(file)
            self.exec_cmd(strcmd)

    #執行腳本命令
    def exec_cmd(self, strcmd):
        os.system(strcmd)

    #獲取文件創建時間
    def getCreateFileTime(self, path):
        return os.path.getctime(path)
        
    #時間戳轉datetime
    def TimeStampToTime(self,timestamp):
        return datetime.datetime.utcfromtimestamp(timestamp)

    #比較當前時間與文件創建時間差值（天）
    def compareFileTime(self, path,overDay):
        comparTime = self.TimeStampToTime(self.getCreateFileTime(path))
        now = datetime.datetime.utcnow() + datetime.timedelta(days= overDay)
        return now > comparTime


# 要清除文本的磁盤 "D:/my_project/my_test/logs/mendian_platform/task/2018-09/26",
clearDirs = ["/data1/data/applogs/xxl-job-web"]
doFile = DoFile()
doFile.doFiles(clearDirs, True,3)

其邏輯可以分爲下面幾步：

• 從doFiles進入，先去獲取配置的clearDirs數組中的日誌所在磁盤路徑下面的日誌文件
• 獲取待刪除的文件，這些文件以.log後綴結尾，並且通過時間限定策略【當前時間+(-n天) > 文本日誌創建時間】來識別哪些到期該刪除了
• 最後通過執行rm -rf命令直接刪除符合時間策略的日誌文件

crontab定時任務

上面只有了清除日誌的py腳本，但是要定時執行該腳本才能到達自動的目的，不然每次都手動運行py腳本和直接手動刪除日誌文件沒上面太大的區別和省時間，因此這裏用到了crontab任務；編輯cron任務如下命令：

crontab -e

編輯cron任務，往裏面添加定時每週或者每天執行上面的python腳本

0 0 */1 * * python /abc/python/clearDirLog.py > /abc/python/dolog.log 2>&1

上面cron表達式意思：定時每天執行一次clearDirLog.py腳本，並把clearDirLog.py裏面打印出來的信息記錄到dolog.log文件中；

編輯任務保存後，我們可以通過如下命令查看cron的任務列表：

crontab -l