#山東梅長蘇
監控發現物理機/目錄使用率一直100%,messages和secure日誌特別大,應用已無法啓動。logrotate不生效排查了好長時間,原來的處
理方式是logrotate /etc/logrotate.conf加-f強制執行,但這種方式並沒有找到問題根源。因爲有幾百臺生產物理機,不敢隨便放過這
個問題,後面研究找到了問題的根源。
1、先備份到其他目錄
#cp -f /var/log/messages /data/systemlog/
#cp -f /var/log/secure /data/systemlog/
2、再緊急清空日誌文件(不要用rm刪除,因爲被進程佔用無法釋放空間)
#echo ‘’ > /var/log/messages
#echo ‘’ > /var/log/secure
2.1 排查根源問題
暴露5個問題,分別解決三個問題,執行命令:
logrotate /etc/logrotate.conf
2.2 解決 /var/log/get_vif_statistic.log 的問題,該物理機是kvm宿主機,所以會有虛擬網絡的問題
a、查找相關文件
b、備份 /etc/logrotate.d/vswitch 文件至其他目錄:
#cp /etc/logrotate.d/vswitch /tmp/
c、編輯該文件,將 get_vif_statistic.log 相關的行刪除掉;
#vim /etc/logrotate.d/vswitch
2.3 解決 /var/lib/logrotate.status 的問題:
a、確認是否有異常字符:
#cat -A /var/lib/logrotate.status
b、解決方法:備份 /var/lib/logrotate.status 文件至其他目錄,然後執行命令清空文件:
# >/var/lib/logrotate.status
2.4 解決 /var/log/boot.log 問題,發現沒有此文件
直接創建該文件:
#touch /var/log/boot.log
3.1 重新執行 logrotate /etc/logrotate.conf 驗證已無報錯
3.2 查看日誌文件大小,及磁盤佔用情況:
ll -Sh /var/log/
df -h