症狀:
在寶塔管理面板看到服務器滿百,CPU負載滿百,內存富裕,磁盤富裕,網站能正常訪問。
排查:
top查詢後發現除了elasticsearch與阿里雲盾佔用偶爾過10%之外,其他都是在1%甚至0%
查看寶塔的監控頁面,對照安全頁面,cpu負載飆升的時刻,操作記錄顯示當時正在重啓redis,判斷應該是調整redis配置時導致的異常
因爲單進程CPU佔用極低,排除病毒干擾的話,可能是因爲進程執行速度極快且在不斷重啓
回想服務器上是否存在定時程序及類似進程,想起由supervisor守護的think-queue有類似的效果
檢查supervisor產生的運行日誌,發現大量報錯,顯示redis拒絕訪問
想起之前跳轉redis配置時新增了訪問密碼,而think-queue配置並沒更新密碼,導致訪問拒絕
然後就出現了進程不斷快速重啓導致cpu滿負載的情況。
更新think-queue配置後,情況恢復正常。