ZooKeepr日誌清理

在使用zookeeper過程中,我們知道,會有dataDir和dataLogDir兩個目錄,分別用於snapshot和事務日誌的輸出(默認情況下只有dataDir目錄,snapshot和事務日誌都保存在這個目錄中,關於這兩個目錄的詳細說明,請看《ZooKeeper管理員指南

》)。

正常運行過程中,ZK會不斷地把快照數據和事務日誌輸出到這兩個目錄,並且如果沒有人爲操作的話,ZK自己是不會清理這些文件的,需要管理員來清理,這裏介紹4種清理日誌的方法。在這4種方法中,推薦使用第一種方法,對於運維人員來說,將日誌清理工作獨立出來,便於統一管理也更可控。畢竟zk自帶的一些工具並不怎麼給力,這裏是社區反映的兩個問題:

https://issues.apache.org/jira/browse/ZOOKEEPER-957

http://zookeeper-user.578899.n2.nabble.com/PurgeTxnLog-td6304244.html

第一種,也是運維人員最常用的,寫一個刪除日誌腳本,每天定時執行即可:

#!/bin/bash

#snapshot file dir

dataDir=/home/yinshi.nc/test/zk_data/version-2

#tran log dir

dataLogDir=/home/yinshi.nc/test/zk_log/version-2

#zk log dir

logDir=/home/yinshi.nc/test/logs

#Leave 66 files

count=66

count=$[$count+1]

ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f

ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f

ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

#find /home/yinshi.nc/taokeeper/zk_data/version-2 -name "snap*" -mtime +1 | xargs rm -f

#find /home/yinshi.nc/taokeeper/zk_logs/version-2 -name "log*" -mtime +1 | xargs rm -f

#find /home/yinshi.nc/taokeeper/logs/ -name "zookeeper.log.*" -mtime +1 | xargs rm –f

以上這個腳本定義了刪除對應兩個目錄中的文件,保留最新的66個文件,可以將他寫到crontab中,設置爲每天凌晨2點執行一次就可以了。

第二種,使用ZK的工具類PurgeTxnLog,它的實現了一種簡單的歷史文件清理策略,可以在這裏看一下他的使用方法:http://zookeeper.apache.org/doc/r3.4.3/api/index.html,可以指定要清理的目錄和需要保留的文件數目,簡單使用如下:

java -cp zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf org.apache.zookeeper.server.PurgeTxnLog-n

第三種,對於上面這個Java類的執行,ZK自己已經寫好了腳本,在bin/zkCleanup.sh中,所以直接使用這個腳本也是可以執行清理工作的。

第四種,從3.4.0開始,zookeeper提供了自動清理snapshot和事務日誌的功能,通過配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 這兩個參數能夠實現定時清理了。這兩個參數都是在zoo.cfg中配置的:

autopurge.purgeInterval這個參數指定了清理頻率,單位是小時,需要填寫一個1或更大的整數,默認是0,表示不開啓自己清理功能。

autopurge.snapRetainCount這個參數和上面的參數搭配使用,這個參數指定了需要保留的文件數目。默認是保留3個。

本文出自 “ni掌櫃的筆記” 博客,請務必保留此出處http://nileader.blog.51cto.com/1381108/932156

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章