記一次愚蠢的失誤,centos cpu滿載但單進程cpu佔用很低

症狀:

在寶塔管理面板看到服務器滿百,CPU負載滿百,內存富裕,磁盤富裕,網站能正常訪問。

排查:

top查詢後發現除了elasticsearch與阿里雲盾佔用偶爾過10%之外,其他都是在1%甚至0%

查看寶塔的監控頁面,對照安全頁面,cpu負載飆升的時刻,操作記錄顯示當時正在重啓redis,判斷應該是調整redis配置時導致的異常

因爲單進程CPU佔用極低,排除病毒干擾的話,可能是因爲進程執行速度極快且在不斷重啓

回想服務器上是否存在定時程序及類似進程,想起由supervisor守護的think-queue有類似的效果

檢查supervisor產生的運行日誌,發現大量報錯,顯示redis拒絕訪問

想起之前跳轉redis配置時新增了訪問密碼,而think-queue配置並沒更新密碼,導致訪問拒絕

然後就出現了進程不斷快速重啓導致cpu滿負載的情況。

更新think-queue配置後,情況恢復正常。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章