記一次生產環境物理機磁盤/目錄被日誌打滿處理方式(logrotate失效)


#山東梅長蘇

監控發現物理機/目錄使用率一直100%,messages和secure日誌特別大,應用已無法啓動。logrotate不生效排查了好長時間,原來的處
理方式是logrotate /etc/logrotate.conf加-f強制執行,但這種方式並沒有找到問題根源。因爲有幾百臺生產物理機,不敢隨便放過這
個問題,後面研究找到了問題的根源。

1、先備份到其他目錄
#cp -f /var/log/messages /data/systemlog/
#cp -f /var/log/secure /data/systemlog/

2、再緊急清空日誌文件(不要用rm刪除,因爲被進程佔用無法釋放空間)
#echo ‘’ > /var/log/messages
#echo ‘’ > /var/log/secure

2.1 排查根源問題

暴露5個問題,分別解決三個問題,執行命令:

logrotate /etc/logrotate.conf
導致策略未生效

2.2 解決 /var/log/get_vif_statistic.log 的問題,該物理機是kvm宿主機,所以會有虛擬網絡的問題

a、查找相關文件

在這裏插入圖片描述

b、備份 /etc/logrotate.d/vswitch 文件至其他目錄:
#cp /etc/logrotate.d/vswitch /tmp/

c、編輯該文件,將 get_vif_statistic.log 相關的行刪除掉;
#vim /etc/logrotate.d/vswitch

2.3 解決 /var/lib/logrotate.status 的問題:

a、確認是否有異常字符:
#cat -A /var/lib/logrotate.status

在這裏插入圖片描述

b、解決方法:備份 /var/lib/logrotate.status 文件至其他目錄,然後執行命令清空文件:
# >/var/lib/logrotate.status

2.4 解決 /var/log/boot.log 問題,發現沒有此文件

直接創建該文件:
#touch /var/log/boot.log

3.1 重新執行 logrotate /etc/logrotate.conf 驗證已無報錯

3.2 查看日誌文件大小,及磁盤佔用情況:

ll -Sh /var/log/
df -h

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章