公司內網有臺memcache服務器經常掛了,是臺vm機器,ssh不能登錄。用VM軟件進去,看到內存有溢出,所有命令都不起作用。只能通過VM的終端重起,每次重起後,沒過幾天,又掛了。因爲是開發的測試虛擬機,所以一直沒在意。
今天又瞟了一下虛擬平臺,發現有紅色報警,無意中進去,看了一下TOP,工作這麼多年,沒見到過服務器有這麼大的平均負載。
看進程是一個叫log2sh.sh佔用比較多,再看下它的進程數。總共有120多個
這是一臺memcache服務器,沒有這個log2sql.sh,所以可以徹底結束這些進程,編一腳本,執行一下。
再檢查一下計劃任務。crontab -l
第三項,有個啓動log2sql.sh計劃,猜測,設計這個任務的管理員,應該是每12小時執行一下這個log2sql.sh。但因爲前面有個*,所以變成了每分鐘執行一下log2sql.sh腳本。這是一臺memcache服務器,mcd_gmetric.sh與log2sql.sh與應用無關,去掉,只留NTP服務。
負載下來了很多了,目前是50多,再等等看。
負載到1了,CPU使用了0%,服務器正常了。
經驗:即使是內網服務器,管理員密碼還是要注意,不要隨便給出去,這臺機器有兩個部門知道密碼,不知誰在裏面弄什麼東西。