记一次愚蠢的失误,centos cpu满载但单进程cpu占用很低

症状:

在宝塔管理面板看到服务器满百,CPU负载满百,内存富裕,磁盘富裕,网站能正常访问。

排查:

top查询后发现除了elasticsearch与阿里云盾占用偶尔过10%之外,其他都是在1%甚至0%

查看宝塔的监控页面,对照安全页面,cpu负载飙升的时刻,操作记录显示当时正在重启redis,判断应该是调整redis配置时导致的异常

因为单进程CPU占用极低,排除病毒干扰的话,可能是因为进程执行速度极快且在不断重启

回想服务器上是否存在定时程序及类似进程,想起由supervisor守护的think-queue有类似的效果

检查supervisor产生的运行日志,发现大量报错,显示redis拒绝访问

想起之前跳转redis配置时新增了访问密码,而think-queue配置并没更新密码,导致访问拒绝

然后就出现了进程不断快速重启导致cpu满负载的情况。

更新think-queue配置后,情况恢复正常。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章