服務器遭黑客入侵導致網絡流量異常的排查分析

服務器遭黑客入侵導致網絡流量異常的排查分析
 

現象:下午14:00至16:00期間,網站後臺編輯用戶反饋CMS系統無法工作,響應極其緩慢.同一時間,就分應用也響應慢.網絡與服務器架構分佈:網站後臺...

<iframe id="cproIframe_u944267" width="250" height="250" src="http://pos.baidu.com/acom?adn=3&at=231&aurl=&cad=1&ccd=24&cec=UTF-8&cfv=15&ch=0&col=zh-CN&conOP=0&cpa=1&dai=2&dis=0&ltr=http%3A%2F%2Fwww.5iops.com%2Fhtml%2Fproblem%2F&ltu=http%3A%2F%2Fwww.5iops.com%2Fhtml%2F2012%2Fproblem_0628%2F137.html&lunum=6&n=qudao123_cpr&pcs=1345x659&pis=10000x10000&ps=591x213&psr=1366x768&pss=1345x873&qn=8d842450dbab22aa&rad=&rsi0=250&rsi1=250&rsi5=2&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000FF&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=&td_id=944267&tn=text_default_250_250&tpr=1419349597854&ts=1&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u944267" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true"></iframe>

現象:
下午14:00至16:00期間,網站後臺編輯用戶反饋CMS系統無法工作,響應極其緩慢.同一時間,就分應用也響應慢.

網絡與服務器架構分佈:
網站後臺CMS應用與數據庫同處同一個機房,共享萬兆出口帶寬;
網站後臺CMS應用服務器與數據庫分處不同的機櫃,使用不同的接入交換機;
接入交換機以千兆網絡接入核心萬兆交換機.

分析:
網站CMS系統與數據庫工作均正常;
但2臺服務器之間網絡存在丟包,丟包超過10%;
網站CMS與數據庫系統的網絡流量正常.

查看CACTI系統:發現數據庫所在的接入交換機上連出口帶寬跑滿1G;


查看該交換機下連服務器端口,可看到第6口流量與之吻合:


而且相同的時間,其他應用有受其流量跑滿影響:


由此說明罪魁禍首是第6端口的服務器,在做一些異常的行爲.需要查明第6口所接服務器(IP,承載服務,帳號等),由於沒有足夠的資料,這個查找花了較長時間(可見運維資料的及時整理相當重要).不過最終查明這臺機的IP地址,它是一臺預留的空閒服務器,操作系統是 windows 2003,沒有納入監控;



但奇怪的是默認的遠程終端服務的端口無法登錄,但能 ping 通.好在有遠程管理卡,上圖就是通過遠程管理卡進入的界面.嘗試密碼也登錄不了,很奇怪,有不妙的感覺.感覺這臺機被人搞過了.

意外地登錄進去了.看日誌發現,有人正在上面操作,而且加入了異常的sqldebugger帳號.


可以證實這臺服務器被黑客侵入了.馬上斷開這臺服務器的公網(關閉交換機端口或拔網線!)



SQLDebugger這個帳號是典型入侵者使用的帳號(這個也是後面查實是否被入侵的一個特徵)


重啓進登錄界面,發現服務器駐入的shift後門(這是後面是否入侵的一個檢查特徵):


查看服務器上所開放的端口:有23,55555等異常端口.

登錄服務器,看到桌面有掃描攻擊工具(典型的UDP攻擊工具),這個就是異常1G流量產生的真正原因.服務器已被黑客用作攻擊肉雞.(--空閒預留的服務器也要做好監控啊!)


結論：
至此,已查明影響服務的異常網絡流量的RootCause(真正原因):服務器被入侵,當作UDP Flood攻擊或掃描的肉雞.

除了斷開被侵入的機器,事情到此還沒有完,還需要馬上做的事情有:

1 這個機器來自哪些ip，去過什麼內網其他機器?
2 其他windows機器，有外網ip的，全部檢查下有無被入侵?
3 黑客大概怎麼侵入進來的？
4 黑客進來之後都幹過什麼東東?
5 中午那邊大流量時都幹了什麼?

注間第2點,檢查其他windows有無入侵主要看這些特徵值:

看事件裏的528事件(windows2008的登錄事件是:4624,不是windows 2003的528)
看sqldebugger帳號
看shift後門(按5次shift鍵)

最終整個機房50多臺windows服務器查下來得到的

現象:下午14:00至16:00期間,網站後臺編輯用戶反饋CMS系統無法工作,響應極其緩慢.同一時間,就分應用也響應慢.網絡與服務器架構分佈:網站後臺...

<iframe id="cproIframe_u944267" width="250" height="250" src="http://pos.baidu.com/acom?adn=3&at=231&aurl=&cad=1&ccd=24&cec=UTF-8&cfv=15&ch=0&col=zh-CN&conOP=0&cpa=1&dai=2&dis=0&ltr=http%3A%2F%2Fwww.5iops.com%2Fhtml%2Fproblem%2F&ltu=http%3A%2F%2Fwww.5iops.com%2Fhtml%2F2012%2Fproblem_0628%2F137_2.html&lunum=6&n=qudao123_cpr&pcs=1345x659&pis=10000x10000&ps=591x213&psr=1366x768&pss=1345x873&qn=e71e814199a16129&rad=&rsi0=250&rsi1=250&rsi5=2&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000FF&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=&td_id=944267&tn=text_default_250_250&tpr=1419349657712&ts=1&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u944267" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true"></iframe>

結論:

被黑的windows機器有2個,都是預留的空閒後備機器.這2個機器需重做系統，因其了上面全是感染病毒或木馬。

查證攻擊源來自廣州、ip有多個(估計是ADSL)

被攻擊原因分析：
1、無殺毒軟件，
2、無日誌收集，
3、弱口令,
4、外網IP、135 445端口對外開放、（攻擊者可通過135端口避過ACL控制枚舉嘗試密碼，從其中一個機器的日誌反應12年1月至2月被頻繁嘗試密碼）
日誌中有很EVERYONE的訪問，爲了建立IPC空鏈接留下的日誌，成功建立之後開啓了telnet服務。種植木馬、安裝shift後門、更改終端端口爲55555繞過ACL，

 

之前遇到過跨IDC無法連接135端口(衝擊波事件之後骨幹網都對135 445端口做了屏蔽)、但是有部分地方的IP是可以正常訪問，隨便在外面拿了一個機器就可以訪問到部分該機房的135端口：

 

攻擊後攻擊者的行蹤：
1、攻擊者成功進入後並沒有通過這兩個機器去直接攻擊其他服務器；
2、攻擊者成功進入後主要是在發udp包也就是對其他機器拒絕服務、耗費我們大量寬帶資源；
3、攻擊留下的部分工具看來、對內網不瞭解，使用其中的一個服務器對外面IDC(不是我們的)掃描弱口令，數據庫弱口令等。

後續此被攻擊IDC機房的windows機器需要加固：

1、推送本地策略(包含內容 密碼長度要求13位以上、密碼複雜性、密碼有效期爲3個月)、關閉默認共享；
2、密碼全部改，(要求13位以上必須包含大小寫字母，數字及特殊字符)；
3、所有windows必須安裝殺毒軟件；
4、所有windows必須遠程備份日誌；
5、啓用IPSEC對進出的端口做全面限制；
6、如果沒有必要使用私網網段的IP，儘量不使用公網IP，(或單獨劃一個VLAN)；

其他：
1、其他服務器root密碼爲默認密碼的有必要儘快改掉；
2、所有空閒預留備用的服務器也需要納入監控。