第一章 项目背景
随着更全面的安全应用程序和数据库技术的迅猛发展，现在有了更多的方法来进行实时的身份监控、权限和证书检查。然而，日渐复杂的安全问题依然有增无减，使得其带来的威胁仍然不容忽视。
高级持续性威胁(Advanced Persistent Threat，APT)，威胁着数据安全。APT是黑客以窃取核心资料为目的，针对客户所发动的网络攻击和侵袭行为，是一种蓄谋已久的“恶意商业间谍威胁”。这种行为往往经过长期的经营与策划，并具备高度的隐蔽性。APT的攻击手法，在于隐匿自己，针对特定对象，长期、有计划性和组织性地窃取数据，这种发生在数字空间的偷窃资料、搜集情报的行为，就是一种“网络间谍”的行为。这种攻击行为首先具有极强的隐蔽能力，通常是利用机构网络中受信的应用程序漏洞来形成攻击者所需C&C网络;其次APT攻击具有很强的针对性，攻击触发之前通常需要收集大量关于用户业务流程和目标系统使用情况的精确信息，情报收集的过程更是社工艺术的完美展现;当然针对被攻击环境的各类0day收集更是必不可少的环节。
第二章 总体设计
建设思路
描述一个APT攻击完整的攻击链，可以分为七步：侦查，工具制作，投送，攻击渗透，安装工具，控制，窃取破坏。当黑客渗透成功，在网络内部模仿用户行为进行数据窃密时，检测难度已经大大增加，且往往发现之后已经造成一定损失。所以做APT检测，往往从黑客渗透的事前和事中入手。
系统设计时，采用静态动态相结合的检测方式应对已知威胁和未知威胁的入侵：
黑：基于传统的入侵检测和杀毒技术，可以对已知的病毒、木马、蠕虫、僵尸网络、缓冲区溢出攻击、DDoS、扫描探测、欺骗劫持、SQL注入、XSS、网站挂马、异常流量等恶性攻击行为有非常准确高效的检测效果。
白：通过了黑的检测，并不代表安全，因为它是通过对已知的攻击样本进行分析，提炼出各种签名文件来进行检测只能对已知或者公开的攻击进行预警和防御。因此基于流量探针技术，采集主流使用的通讯协议的流量数据，形成流量基线，由此可以判断网络内异与常态的流量行为，从白中挑出灰。
灰：对于绕过入侵检测和杀毒软件的灰色数据，引入动态沙箱检测技术，使用多种虚拟机环境运行被检测文件，监测文件打开后的系统环境、内存状态以及文件的各种行为等以确定文件是否为恶意文件。
三者结合，对已知恶意代码、恶意文件、恶意请求、异常流量、恶意进程行为、恶意文件操作等综合分析，进一步确定APT攻击。形成已知+未知全方位的检测体系。
系统架构
APT高级持续性威胁分析系统包含6个层次：- 数据采集层：平台将部署流量探针在各个核心交换机处采集流量，另外还将收集国家权威机构发布的网络安全威胁情报和国际权威情报商合作提供的网络安全威胁情报。
- 数据处理层：各采集端与分析引擎通过加密协议进行数据转发，支持加密传输和完整性校验，支持本地缓存以规避意外突发情况导致的数据丢失的情况；平台内置灵活的ETL工程，将采集端上报的数据进行科学有序的归类整理，以便高层应用进行日志审计和分析计算。
- 存储访问层：平台使用分布式存储设计，保证存储节点高可用、高容错、易扩展；基于RESTful web接口设计查询接口，查询快速而且操作简单。
- 分析计算层：系统内置两个分析引擎，静态检测引擎引用入侵检测和杀毒的技术能力，对流量进行基于规则特征的攻击识别，对缓冲区溢出、SQL注入、暴力猜测、DOS/DDOS攻击、扫描探测、蠕虫病毒、木马后门、间谍软件等各类黑客攻击和恶意流量进行实时发现并告警，同时可以进行可配置的关联分析，灵活针对不同攻击场景进行定向检测；动态分析引擎使用虚拟沙箱技术，通过采集前端还原的邮件（SMTP,POP3,IMAP）附件和HTTP传输的文件，进行可疑行为检测，将生成行为（写注册表，访问系统目录，更改文件名等）报告，根据这些行为，利用规则来计算这些样本文件是否携带未知恶意代码。
- 综合展示层：综合采集分析的安全状态信息，形成统一的界面视图，方便运维人员进行统一监控，快速定位安全问题。
- 运维管理层：从综合展示层引导，由分析计算层支撑，使运维人员发现安全事件后可以快速响应，向同级监管组织单位和下级受管单位及时发送告警通告和处置要求，使网络安全态势感知与预警响应有效衔接。
部署架构
系统部署分为数据采集端与分析引擎，前后端通过加密传输数据数据。
为适应复杂的网络环境，系统前后端进行轻耦合设计，既可以部署在不同的设备，也可以部署在同一台高性能设备。整个系统只需在核心交换机处旁路部署，对原有网络环境无任何影响。
详细设计
数据采集
通过部署传感器，以镜像分光的形式采集核心交换机处的进出流量。支持分布式部署，同时传感器本身支持多镜像口设置，可以对多个交换机进行流量镜像。对业务系统几乎没有影响。
采集对象
流量部分
系统传感器可以对HTTP、POP3、SMTP、IMAP、FTP等协议进行全流量采集和重组。同时还可以基于流，采集经核心交换机的流量，设置有统计频率，支持基于IP标识重点流量进行采集，采集内容包括：
① SRCIP——源IP
② DSTIP——目的IP
③ SRCIP_AREA——源IP地域
④ DSTIP_AREA——目的IP地域
⑤ STARTTIME——流开始时间
⑥ ENDTIME——流结束时间
⑦ SRCPORT——源端口
⑧ DSTPORT——目的端口
⑨ PROTO——网络层协议
⑩ PROTO7——应用层协议
⑪ PACKERNUM——包数量
⑫ BYTESIZE——字节数
⑬ RECORDTIME——记录时间
威胁情报部分
系统内置大量恶意样本库、病毒木马特征库等信息，同时支持单独部署一台威胁情报采集器，采集外部漏洞情报和权威情报商提供的威胁情报。
分布式传感器
- 支持跨网段传输
- 支持海量数据加密传输
- 当前由于网络中断原因不能连接管理中心时，支持本地数据缓存
- 传感器可以集中在管理中心进行远程管控，包括启动停止和策略下发等
网络攻击分析
分析检测能力
系统可以实现完备的分析检测功能，包括TCP流重组，端口扫描检测、IP碎片重组、BO攻击分析、异常轮廓统计分析、ARP欺骗分析、UNICODE漏洞分析、RPC请求分析、TELNET交互格式化分析、极小碎片检测、缓冲溢出分析、智能的模式匹配等。综合使用了特征匹配、协议分析和异常行为检测等方法，采用了自适应多协议融合分析技术。
强大的IP处理能力，能防止黑客进行各种碎片攻击。TCP多包组合攻击技术（攻击分许多包发送，一次一个或几个字节）可以轻松地绕过普通的模式匹配类型的入侵检测系统。平台基于TCP流重组功能可以重组TCP连接的双方的通讯，组合各个攻击包，使所有的组合包攻击技术无能为力。
端口扫描是入侵的先兆，黑客一般是先通过扫描来确定用户系统的类型，然后针对性的进行攻击。平台具备识别端口扫描功能。普通的入侵防御系统只能识别简单的TCP端口扫描，不能识别黑客的其它扫描。BD-NIPS可以识别包括TCP扫描、UDP扫描、SYN扫描、SYN+FIN扫描、NULL扫描、XMAS扫描、Full XMAS扫描、Reserved Bits扫描、Vecna扫描、NO ACK扫描、NMAP扫描、SPAU扫描、Invalid ACK扫描在内的几乎所有扫描方式。
UNICODE漏洞和缓冲溢出漏洞是最常用的攻击手法，也是最常见的系统漏洞，BD-NIPS可以有效准确检测。
采用异常轮廓统计分析技术，具有自主学习能力，根据网络中正常情况下的信息，可以检测网络中的异常情况，自动分析出各种新形式的入侵、变种的入侵、系统误用等。
攻击特征模式库
内置攻击模式库有8000多条，能检测出绝大多数攻击行为。并且其中的攻击模式库也在不断地升级、更新。能检测的主要攻击类型如下：
① WEB_ATTACKS攻击
② WEB_IIS攻击
③ WEB_CGI攻击
④ WEB_FRONTPAGE攻击
⑤ FTP攻击
⑥ DOS攻击
⑦ DDOS攻击
⑧ BACKDOOR攻击
⑨ NETBIOS攻击
⑩ ICMP攻击
⑪ ICMP_EVENT攻击
⑫ DNS攻击
⑬ SMTP攻击
⑭ SCAN攻击
⑮ RPC攻击
⑯ MSSQL攻击
⑰ TELNET攻击
⑱ VIRUS攻击
⑲ SHELLCODE攻击
⑳ REMOTE_SERVICE攻击
21 FINGER攻击
22 OVERFLOW攻击
检测基于服务的攻击行为
平台提供了专门模块检测分析针对基于服务协议的攻击行为。主要的服务有HTTP、TELNET、SMTP、MS SQL、DNS等。
异常检测技术
有效的异常检测与统计检测等检测方法能降低漏报率。异常轮廓统计分析技术，使平台具有自学习能力，根据网络中正常情况下的信息，可以检测网络中的异常情况，自动分析出各种新形式的入侵、变种的入侵、系统误用。
使用的异常检测模块的设计原理图如下图。异常数据包跟踪模块从预处理模块获取异常数据包，并建立起跟踪队列，同时使用异常检测方法进行深入的异常检测。为了加快异常检测速度，在异常数据包跟踪模块使用多线程协同式跟踪分析技术。流量状态监控模块监控网络流量状态及每一工作主机的流量状况，同时实时计算出流量变化情况。会话监控模块监控TCP会话，从中发现异常会话。在异常集中分析机器学习模块，将异常数据包跟踪模块、流量状态监控模块、会话监控模块的监控结果进行集中分析、集中关联、集中检测，从中发现异常特征，并进行预警和规则入库。
协议解码分析能力
支持多种些解码分析，能对ARP、RPC、HTTP、FTP、TELNET、SMTP等多种应用协议进行解码分析，能读懂基于这些协议的交互命令和命令执行情况。综合使用了特征匹配、协议分析和异常行为检测等方法，采用了自适应多协议融合分析技术。
恶意文件分析
蠕虫检测能力
强大的蠕虫检测隔离能力。内置有1000多条蠕虫检测规则，可实时检测各种蠕虫，如SQL蠕虫王、冲击波、震荡波、冲击波杀手等蠕虫。同时通过异常检测技术能成功检测新蠕虫，因此在一定的程度上能解决蠕虫滞后的问题。
恶意文件检测
基于FTP、HTTP、POP3、SMTP等协议进行文件重组，识别恶意软件和未知威胁，可以通过防病毒引擎进行文件病毒查杀。
沙箱动态分析
对网路攻击分析和恶意文件分析检测不出的未知威胁，系统可以制定策略将采集的文件或者请求操作放到动态虚拟沙箱中进行实时模拟，并生成文件行为报告供用户进行确定APT攻击的参考。
沙箱分为两个部分：
Host（管理机）：负责管理各样本的分析工作，如启动分析工作、行为dump以及生成报告等。
Guest（虚拟机）：Guest是通用的虚拟机，Xen、VirtualBox等。它运行Agent，接收Host发过来的任务（文件）运行后获取信息。
Agent是跨平台的，可以运行在Windows、Linux和MAC OS上，主要完成对恶意程序的分析以及host报告分析结果等工作。
每个分析虚拟机都是一个相对独立干净的执行环境，能安全隔离各恶意程序的执行和分析工作。
对沙箱分析出的结果，经过综合分析后明确属攻击的，由专业团队根据实体样本更新网络攻击分析和恶意文件分析依赖的静态特征，增强前线检测攻击的能力，形成可循环的闭环。
关联分析
事件合并分析
支持事件合并，能够按照指定条件将多条事件合并成一条，并记录总条数，要求支持指定按照第一条归并或者最后一条进行归并，归并可以按照一定时间内或者条数达到某一数量来触发。
事件横向关联分析
即可以根据同一时间里，发生的安全事件进行聚合，实现基于事件、基于资产和基于知识的关联分析。具体如下：
① 根据攻击源进行信息聚合分析；
② 根据攻击目标进行信息聚合分析；
③ 根据受攻击的设备类型进行信息聚合分析；
④ 根据受攻击的操作系统类型及版本信息进行聚合分析；
⑤ 根据安全事件类型进行聚合分析。
事件字段规则关联分析
- 基于逻辑表达式的规则
如目的IP=XX &（ 目的端口=80 || 目的端口=8080）。 - 基于统计条件的规则
如一分钟内某个源IP连续登录某个目的IP失败的次数大于6次。 - 多种条件的组合关联
如字段+统计+事件，三者自由组合关联分析。
NDAY漏洞关联
NDAY漏洞关联是系统收集到的漏洞情报与网站指纹进行匹配，对符合漏洞情报特征如服务端语言或服务器软件的网站进行NDAY漏洞预警。
异常流量关联
关联一段时间内连接次数、流量大小、连接类型。
运维管理
告警管理
系统提供完善的告警管理与响应功能，一旦接收各分析模块上报的告警事件，能够根据用户设定的各种触发条件，通过多种信息化手段（如邮件、短信、声音、界面提示）等方式通知用户。
在同一告警管理窗口集中显示来自不同信息源的事件信息，不同信息源的告警经过统一的格式化进入平台告警界面。管理员可以从告警浏列表中选中一条或多条告警，以对其执行各种管理操作：如查看详细信息、确认告警、延后处理、添加注释、添加专家意见、取消确认、删除告警、指定负责人、创建告警过滤条件等。
管理人员对告警的处理操作会被详细记录，处理后的告警保留在历史告警中供以后查询统计。对于当前告警和历史告警都能够依据灵活配置的分类规则分别进行统计分析报表。
通报管理
接收、汇总来各种类型，不同来源的安全信息通报，实现漏洞信息录入、通报信息录入、通报管理下发等功能。
- 漏洞信息录入：支持多种厂商多种文件格式的漏扫报告导入，及时对网络内的漏洞情况进行统一发现，统一管理，统一通报。
- 通报信息录入：管理员可以通过通报信息录入模块将紧急或者严重的安全事件，安全趋势信息录入系统，进行统一通告。
- 通报管理下发：支持将威胁通报信息生成工单，工单支持新建，编辑，删除，指派责任人，转发，处理等功能。
知识管理
知识管理实现知识的设置和录入，把现有的安全专家知识录入系统中，系统为用户在处理安全事件时提供辅助决策功能。
知识库包含病毒库、情报库、安全知识库、案例库等，支持新增库类并自定义库名。其具体包含知识列表的详细信息和知识类型名，包括标题，创建者，知识库类型，创建时间，最后更新时间以及备注等。
预期成效
- 对用户网络环境内发生的网络行为进行全面分析，实现对已知网络攻击的的准确识别和分析，有效发现有害程序、网络攻击等网络安全事件，对未知威胁进行快速发现和仿真分析，实现攻击危害评估、APT检测等安全能力。
- 提供未知威胁检测的能力，还原恶意程序的行为过程，丰富静态样本库，提高入侵事件的检测准确率。