服务器遭黑客入侵导致网络流量异常的排查分析

服务器遭黑客入侵导致网络流量异常的排查分析
 

现象:下午14:00至16:00期间,网站后台编辑用户反馈CMS系统无法工作,响应极其缓慢.同一时间,就分应用也响应慢.网络与服务器架构分布:网站后台...

<iframe id="cproIframe_u944267" width="250" height="250" src="http://pos.baidu.com/acom?adn=3&at=231&aurl=&cad=1&ccd=24&cec=UTF-8&cfv=15&ch=0&col=zh-CN&conOP=0&cpa=1&dai=2&dis=0&ltr=http%3A%2F%2Fwww.5iops.com%2Fhtml%2Fproblem%2F&ltu=http%3A%2F%2Fwww.5iops.com%2Fhtml%2F2012%2Fproblem_0628%2F137.html&lunum=6&n=qudao123_cpr&pcs=1345x659&pis=10000x10000&ps=591x213&psr=1366x768&pss=1345x873&qn=8d842450dbab22aa&rad=&rsi0=250&rsi1=250&rsi5=2&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000FF&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=&td_id=944267&tn=text_default_250_250&tpr=1419349597854&ts=1&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u944267" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true"></iframe>

现象:
下午14:00至16:00期间,网站后台编辑用户反馈CMS系统无法工作,响应极其缓慢.同一时间,就分应用也响应慢.

网络与服务器架构分布:
网站后台CMS应用与数据库同处同一个机房,共享万兆出口带宽;
网站后台CMS应用服务器与数据库分处不同的机柜,使用不同的接入交换机;
接入交换机以千兆网络接入核心万兆交换机.

分析:
网站CMS系统与数据库工作均正常;
但2台服务器之间网络存在丢包,丢包超过10%;
网站CMS与数据库系统的网络流量正常.

查看CACTI系统:发现数据库所在的接入交换机上连出口带宽跑满1G;


查看该交换机下连服务器端口,可看到第6口流量与之吻合:


而且相同的时间,其他应用有受其流量跑满影响:


由此说明罪魁祸首是第6端口的服务器,在做一些异常的行为.需要查明第6口所接服务器(IP,承载服务,帐号等),由于没有足够的资料,这个查找花了较长时间(可见运维资料的及时整理相当重要).不过最终查明这台机的IP地址,它是一台预留的空闲服务器,操作系统是 windows 2003,没有纳入监控;



但奇怪的是默认的远程终端服务的端口无法登录,但能 ping 通.好在有远程管理卡,上图就是通过远程管理卡进入的界面.尝试密码也登录不了,很奇怪,有不妙的感觉.感觉这台机被人搞过了.

意外地登录进去了.看日志发现,有人正在上面操作,而且加入了异常的sqldebugger帐号.


可以证实这台服务器被黑客侵入了.马上断开这台服务器的公网(关闭交换机端口或拔网线!)



SQLDebugger这个帐号是典型入侵者使用的帐号(这个也是后面查实是否被入侵的一个特征)


重启进登录界面,发现服务器驻入的shift后门(这是后面是否入侵的一个检查特征):


查看服务器上所开放的端口:有23,55555等异常端口.

登录服务器,看到桌面有扫描攻击工具(典型的UDP攻击工具),这个就是异常1G流量产生的真正原因.服务器已被黑客用作攻击肉鸡.(--空闲预留的服务器也要做好监控啊!)


结论：
至此,已查明影响服务的异常网络流量的RootCause(真正原因):服务器被入侵,当作UDP Flood攻击或扫描的肉鸡.

除了断开被侵入的机器,事情到此还没有完,还需要马上做的事情有:

1 这个机器来自哪些ip，去过什么内网其他机器?
2 其他windows机器，有外网ip的，全部检查下有无被入侵?
3 黑客大概怎么侵入进来的？
4 黑客进来之后都干过什么东东?
5 中午那边大流量时都干了什么?

注间第2点,检查其他windows有无入侵主要看这些特征值:

看事件里的528事件(windows2008的登录事件是:4624,不是windows 2003的528)
看sqldebugger帐号
看shift后门(按5次shift键)

最终整个机房50多台windows服务器查下来得到的

现象:下午14:00至16:00期间,网站后台编辑用户反馈CMS系统无法工作,响应极其缓慢.同一时间,就分应用也响应慢.网络与服务器架构分布:网站后台...

<iframe id="cproIframe_u944267" width="250" height="250" src="http://pos.baidu.com/acom?adn=3&at=231&aurl=&cad=1&ccd=24&cec=UTF-8&cfv=15&ch=0&col=zh-CN&conOP=0&cpa=1&dai=2&dis=0&ltr=http%3A%2F%2Fwww.5iops.com%2Fhtml%2Fproblem%2F&ltu=http%3A%2F%2Fwww.5iops.com%2Fhtml%2F2012%2Fproblem_0628%2F137_2.html&lunum=6&n=qudao123_cpr&pcs=1345x659&pis=10000x10000&ps=591x213&psr=1366x768&pss=1345x873&qn=e71e814199a16129&rad=&rsi0=250&rsi1=250&rsi5=2&rss0=%23FFFFFF&rss1=%23FFFFFF&rss2=%230000FF&rss3=%23444444&rss4=%23008000&rss5=&rss6=%23e10900&rss7=&scale=&skin=&td_id=944267&tn=text_default_250_250&tpr=1419349657712&ts=1&xuanting=0&dtm=BAIDU_DUP2_SETJSONADSLOT&dc=2&di=u944267" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true"></iframe>

结论:

被黑的windows机器有2个,都是预留的空闲后备机器.这2个机器需重做系统，因其了上面全是感染病毒或木马。

查证攻击源来自广州、ip有多个(估计是ADSL)

被攻击原因分析：
1、无杀毒软件，
2、无日志收集，
3、弱口令,
4、外网IP、135 445端口对外开放、（攻击者可通过135端口避过ACL控制枚举尝试密码，从其中一个机器的日志反应12年1月至2月被频繁尝试密码）
日志中有很EVERYONE的访问，为了建立IPC空链接留下的日志，成功建立之后开启了telnet服务。种植木马、安装shift后门、更改终端端口为55555绕过ACL，

 

之前遇到过跨IDC无法连接135端口(冲击波事件之后骨干网都对135 445端口做了屏蔽)、但是有部分地方的IP是可以正常访问，随便在外面拿了一个机器就可以访问到部分该机房的135端口：

 

攻击后攻击者的行踪：
1、攻击者成功进入后并没有通过这两个机器去直接攻击其他服务器；
2、攻击者成功进入后主要是在发udp包也就是对其他机器拒绝服务、耗费我们大量宽带资源；
3、攻击留下的部分工具看来、对内网不了解，使用其中的一个服务器对外面IDC(不是我们的)扫描弱口令，数据库弱口令等。

后续此被攻击IDC机房的windows机器需要加固：

1、推送本地策略(包含内容 密码长度要求13位以上、密码复杂性、密码有效期为3个月)、关闭默认共享；
2、密码全部改，(要求13位以上必须包含大小写字母，数字及特殊字符)；
3、所有windows必须安装杀毒软件；
4、所有windows必须远程备份日志；
5、启用IPSEC对进出的端口做全面限制；
6、如果没有必要使用私网网段的IP，尽量不使用公网IP，(或单独划一个VLAN)；

其他：
1、其他服务器root密码为默认密码的有必要尽快改掉；
2、所有空闲预留备用的服务器也需要纳入监控。