Collection Mechanism and Reduction of IDS Alert
Author:Karim Hashim Al-Saedi, Sureswaran Ramadass, Ammar ALmomani，Selvakumar Manickam，Wafaa A.H. Ali Alsalihy 2012
Abstract
本论文提出了一个新的框架CMRAF-如题，减少重复的Intrusion Detection System(IDS)告警，并且减少错误告警数量。该框架基于两个模型：第一个模型保存IDS告警，提取特征为入侵检测信息交换形式，并保存至CSV文件；第二个模型包括三个阶段：1.去除冗余告警，2.基于时间阈值减少错误告警，3.基于以通用脆弱性(漏洞)和暴露的数据为阈值的规则减少错误告警------common vulnerabilities and exposure value(CVE)。该框架运用在Darpa 1999和NAv6 数据集中，分别达到了92%的告警缩减和84%的缩减。
Related Work
Alharby 、Imai 发现，可以用准确的形式代表正常告警模式，因此，一个意料之外的突然发生的序列警报，且一般不可能在这个序列中出现的，可以被标记为可疑行为。
这表明，可以利用告警历史数据提取出序列模式，这有助于系统理解预测未来的告警。
Al-Mamory、Zhang 提出了一个新的基于数据挖掘的方法，旨在减少假正性告警，其思想是将告警聚合成簇，而后从每个簇中生成一个泛化告警，其root causes可以转为过滤器，以减少未来的告警数量。这个方法考虑了泛化和最临近。
Julisch 考虑不同告警特征值之间的距离，计算一个告警和泛化告警之间的差异度。
也有一种基于统计分析和时间序列的方法，并可以分析攻击阶段。该方法作者利用聚类技术以时间戳为范围，聚合告警，每个聚合的告警以一个超告警表示，目的是减少告警，并获取告警优先级以识别重要告警，但该方法不能去除冗余告警(只能去重复告警），且不能灵活选择告警特征。
Methodology
CMRAF 包括2个主要部分：
1.Traffic Data Retrieval and Collection Mechanism model
2. Reduction IDS Alert process model(RAPM)
下图表示的是CMRAF结构
Traffic Data Retrieval and Collection Mechanism model (Model 1)
IDS Snort 是一个开源IDS检测工具，实时监控网络流量，审计每个包检查可疑负载，其可提供两种类型告警：快速模式和完全模式。
该模型包括3个部件:1.Pre-Knowledge，2.特征提取，3.CVE
Pre-Knowledge
Pre-Knowledge 确定不同的数据格式，帮助交换和分享入侵检测和响应系统感心趣的信息。其又包括两种主要部件：Procurement of IDS Alerts 告警收集和Field Reduction and Data Standardization缩减及数据标准化。
Procurement of IDS Alerts
从IDS中收集IDS告警，并保存至一个text文件中，其形式如下：
Field Reduction and Data Standardization
从IDS告警文件中提取标准特征，且该部分包含3个步骤：
A. Alert Data Analyzer
检查IDS告警文件的格式是否与特定的一致
B. Alert Data Manipulator
检查IDS告警特征，给缺失特征补上默认值
C. Alert Data Parser and Converter
从告警文件中提取特征并另存为CSV文件，其形式如下：
特征提取
特征提取是作用确定在告警中有效的特征。系统使用“信息增益比率”(information gain)算法，而后赋予最高的权重给最有效的特征。
GainR(X,c)表示的是特征X在类别C中的增益比率
下表便是了IDS告警特征的信息增益比率
CVE
CVE是指安全威胁的术语，包括两种类型：漏洞(vulnerabilities)和暴露(exposures)。漏洞指的是计算机、服务器或是网络在特定环境下会产生安全风险。暴露指的是可能会将漏洞暴露给某些人的安全相关的场景、事件。
CVE是使用安全相关的数据库或是网络来浏览信息的过程。这样的过程是需要世界各地的不同安全相关组织的专家或是代表的产品协同完成的。下表展示了一种类型的具体CVE信息：
Reduction IDS Alert Processes Model(RAPM)
直接从数据中自动构造模型是很困难的，包括1.巨大的网络流量 2.极不平衡的数据分布 3.难以分清正常和非正常行为 4.需要持续更新以适应不断变化的环境。
现今IDS技术依旧有下列局限性：
1.只针对一特定的攻击类型检测
2.每天产生过多的告警，99%都属于False Positive 告警
该模型包括3个部分：相似告警过程，基于时间阈值的相似告警，减少False Positive告警。新告警缩减算法旨在去除冗余重复告警，并减少假正性告警。
新的告警缩减算法如下：
6-8 ：为相似告警处理过程
10-13：为基于时间阈值的相似告警处理过程
减少False Positive 告警主要基于两种原则1.规则，2.以CVE值作为阈值。
下表举例了5种基于规则原则，认定为错误告警
想法
该篇文章涉及到的重点不多，对于告警缩减这个方面只是提出了一个简单的解决方法，且没有利用攻击图和关联算法，效果并不大。