第一章 項目背景
隨着更全面的安全應用程序和數據庫技術的迅猛發展，現在有了更多的方法來進行實時的身份監控、權限和證書檢查。然而，日漸複雜的安全問題依然有增無減，使得其帶來的威脅仍然不容忽視。
高級持續性威脅(Advanced Persistent Threat，APT)，威脅着數據安全。APT是黑客以竊取核心資料爲目的，針對客戶所發動的網絡攻擊和侵襲行爲，是一種蓄謀已久的“惡意商業間諜威脅”。這種行爲往往經過長期的經營與策劃，並具備高度的隱蔽性。APT的攻擊手法，在於隱匿自己，針對特定對象，長期、有計劃性和組織性地竊取數據，這種發生在數字空間的偷竊資料、蒐集情報的行爲，就是一種“網絡間諜”的行爲。這種攻擊行爲首先具有極強的隱蔽能力，通常是利用機構網絡中受信的應用程序漏洞來形成攻擊者所需C&C網絡;其次APT攻擊具有很強的針對性，攻擊觸發之前通常需要收集大量關於用戶業務流程和目標系統使用情況的精確信息，情報收集的過程更是社工藝術的完美展現;當然針對被攻擊環境的各類0day收集更是必不可少的環節。
第二章 總體設計
建設思路
描述一個APT攻擊完整的攻擊鏈，可以分爲七步：偵查，工具製作，投送，攻擊滲透，安裝工具，控制，竊取破壞。當黑客滲透成功，在網絡內部模仿用戶行爲進行數據竊密時，檢測難度已經大大增加，且往往發現之後已經造成一定損失。所以做APT檢測，往往從黑客滲透的事前和事中入手。
系統設計時，採用靜態動態相結合的檢測方式應對已知威脅和未知威脅的入侵：
黑：基於傳統的入侵檢測和殺毒技術，可以對已知的病毒、木馬、蠕蟲、殭屍網絡、緩衝區溢出攻擊、DDoS、掃描探測、欺騙劫持、SQL注入、XSS、網站掛馬、異常流量等惡性攻擊行爲有非常準確高效的檢測效果。
白：通過了黑的檢測，並不代表安全，因爲它是通過對已知的攻擊樣本進行分析，提煉出各種簽名文件來進行檢測只能對已知或者公開的攻擊進行預警和防禦。因此基於流量探針技術，採集主流使用的通訊協議的流量數據，形成流量基線，由此可以判斷網絡內異與常態的流量行爲，從白中挑出灰。
灰：對於繞過入侵檢測和殺毒軟件的灰色數據，引入動態沙箱檢測技術，使用多種虛擬機環境運行被檢測文件，監測文件打開後的系統環境、內存狀態以及文件的各種行爲等以確定文件是否爲惡意文件。
三者結合，對已知惡意代碼、惡意文件、惡意請求、異常流量、惡意進程行爲、惡意文件操作等綜合分析，進一步確定APT攻擊。形成已知+未知全方位的檢測體系。
系統架構
APT高級持續性威脅分析系統包含6個層次：- 數據採集層：平臺將部署流量探針在各個核心交換機處採集流量，另外還將收集國家權威機構發佈的網絡安全威脅情報和國際權威情報商合作提供的網絡安全威脅情報。
- 數據處理層：各採集端與分析引擎通過加密協議進行數據轉發，支持加密傳輸和完整性校驗，支持本地緩存以規避意外突發情況導致的數據丟失的情況；平臺內置靈活的ETL工程，將採集端上報的數據進行科學有序的歸類整理，以便高層應用進行日誌審計和分析計算。
- 存儲訪問層：平臺使用分佈式存儲設計，保證存儲節點高可用、高容錯、易擴展；基於RESTful web接口設計查詢接口，查詢快速而且操作簡單。
- 分析計算層：系統內置兩個分析引擎，靜態檢測引擎引用入侵檢測和殺毒的技術能力，對流量進行基於規則特徵的攻擊識別，對緩衝區溢出、SQL注入、暴力猜測、DOS/DDOS攻擊、掃描探測、蠕蟲病毒、木馬後門、間諜軟件等各類黑客攻擊和惡意流量進行實時發現並告警，同時可以進行可配置的關聯分析，靈活針對不同攻擊場景進行定向檢測；動態分析引擎使用虛擬沙箱技術，通過採集前端還原的郵件（SMTP,POP3,IMAP）附件和HTTP傳輸的文件，進行可疑行爲檢測，將生成行爲（寫註冊表，訪問系統目錄，更改文件名等）報告，根據這些行爲，利用規則來計算這些樣本文件是否攜帶未知惡意代碼。
- 綜合展示層：綜合採集分析的安全狀態信息，形成統一的界面視圖，方便運維人員進行統一監控，快速定位安全問題。
- 運維管理層：從綜合展示層引導，由分析計算層支撐，使運維人員發現安全事件後可以快速響應，向同級監管組織單位和下級受管單位及時發送告警通告和處置要求，使網絡安全態勢感知與預警響應有效銜接。
部署架構
系統部署分爲數據採集端與分析引擎，前後端通過加密傳輸數據數據。
爲適應複雜的網絡環境，系統前後端進行輕耦合設計，既可以部署在不同的設備，也可以部署在同一臺高性能設備。整個系統只需在覈心交換機處旁路部署，對原有網絡環境無任何影響。
詳細設計
數據採集
通過部署傳感器，以鏡像分光的形式採集核心交換機處的進出流量。支持分佈式部署，同時傳感器本身支持多鏡像口設置，可以對多個交換機進行流量鏡像。對業務系統幾乎沒有影響。
採集對象
流量部分
系統傳感器可以對HTTP、POP3、SMTP、IMAP、FTP等協議進行全流量採集和重組。同時還可以基於流，採集經核心交換機的流量，設置有統計頻率，支持基於IP標識重點流量進行採集，採集內容包括：
① SRCIP——源IP
② DSTIP——目的IP
③ SRCIP_AREA——源IP地域
④ DSTIP_AREA——目的IP地域
⑤ STARTTIME——流開始時間
⑥ ENDTIME——流結束時間
⑦ SRCPORT——源端口
⑧ DSTPORT——目的端口
⑨ PROTO——網絡層協議
⑩ PROTO7——應用層協議
⑪ PACKERNUM——包數量
⑫ BYTESIZE——字節數
⑬ RECORDTIME——記錄時間
威脅情報部分
系統內置大量惡意樣本庫、病毒木馬特徵庫等信息，同時支持單獨部署一臺威脅情報採集器，採集外部漏洞情報和權威情報商提供的威脅情報。
分佈式傳感器
- 支持跨網段傳輸
- 支持海量數據加密傳輸
- 當前由於網絡中斷原因不能連接管理中心時，支持本地數據緩存
- 傳感器可以集中在管理中心進行遠程管控，包括啓動停止和策略下發等
網絡攻擊分析
分析檢測能力
系統可以實現完備的分析檢測功能，包括TCP流重組，端口掃描檢測、IP碎片重組、BO攻擊分析、異常輪廓統計分析、ARP欺騙分析、UNICODE漏洞分析、RPC請求分析、TELNET交互格式化分析、極小碎片檢測、緩衝溢出分析、智能的模式匹配等。綜合使用了特徵匹配、協議分析和異常行爲檢測等方法，採用了自適應多協議融合分析技術。
強大的IP處理能力，能防止黑客進行各種碎片攻擊。TCP多包組合攻擊技術（攻擊分許多包發送，一次一個或幾個字節）可以輕鬆地繞過普通的模式匹配類型的入侵檢測系統。平臺基於TCP流重組功能可以重組TCP連接的雙方的通訊，組合各個攻擊包，使所有的組合包攻擊技術無能爲力。
端口掃描是入侵的先兆，黑客一般是先通過掃描來確定用戶系統的類型，然後針對性的進行攻擊。平臺具備識別端口掃描功能。普通的入侵防禦系統只能識別簡單的TCP端口掃描，不能識別黑客的其它掃描。BD-NIPS可以識別包括TCP掃描、UDP掃描、SYN掃描、SYN+FIN掃描、NULL掃描、XMAS掃描、Full XMAS掃描、Reserved Bits掃描、Vecna掃描、NO ACK掃描、NMAP掃描、SPAU掃描、Invalid ACK掃描在內的幾乎所有掃描方式。
UNICODE漏洞和緩衝溢出漏洞是最常用的攻擊手法，也是最常見的系統漏洞，BD-NIPS可以有效準確檢測。
採用異常輪廓統計分析技術，具有自主學習能力，根據網絡中正常情況下的信息，可以檢測網絡中的異常情況，自動分析出各種新形式的入侵、變種的入侵、系統誤用等。
攻擊特徵模式庫
內置攻擊模式庫有8000多條，能檢測出絕大多數攻擊行爲。並且其中的攻擊模式庫也在不斷地升級、更新。能檢測的主要攻擊類型如下：
① WEB_ATTACKS攻擊
② WEB_IIS攻擊
③ WEB_CGI攻擊
④ WEB_FRONTPAGE攻擊
⑤ FTP攻擊
⑥ DOS攻擊
⑦ DDOS攻擊
⑧ BACKDOOR攻擊
⑨ NETBIOS攻擊
⑩ ICMP攻擊
⑪ ICMP_EVENT攻擊
⑫ DNS攻擊
⑬ SMTP攻擊
⑭ SCAN攻擊
⑮ RPC攻擊
⑯ MSSQL攻擊
⑰ TELNET攻擊
⑱ VIRUS攻擊
⑲ SHELLCODE攻擊
⑳ REMOTE_SERVICE攻擊
21 FINGER攻擊
22 OVERFLOW攻擊
檢測基於服務的攻擊行爲
平臺提供了專門模塊檢測分析針對基於服務協議的攻擊行爲。主要的服務有HTTP、TELNET、SMTP、MS SQL、DNS等。
異常檢測技術
有效的異常檢測與統計檢測等檢測方法能降低漏報率。異常輪廓統計分析技術，使平臺具有自學習能力，根據網絡中正常情況下的信息，可以檢測網絡中的異常情況，自動分析出各種新形式的入侵、變種的入侵、系統誤用。
使用的異常檢測模塊的設計原理圖如下圖。異常數據包跟蹤模塊從預處理模塊獲取異常數據包，並建立起跟蹤隊列，同時使用異常檢測方法進行深入的異常檢測。爲了加快異常檢測速度，在異常數據包跟蹤模塊使用多線程協同式跟蹤分析技術。流量狀態監控模塊監控網絡流量狀態及每一工作主機的流量狀況，同時實時計算出流量變化情況。會話監控模塊監控TCP會話，從中發現異常會話。在異常集中分析機器學習模塊，將異常數據包跟蹤模塊、流量狀態監控模塊、會話監控模塊的監控結果進行集中分析、集中關聯、集中檢測，從中發現異常特徵，並進行預警和規則入庫。
協議解碼分析能力
支持多種些解碼分析，能對ARP、RPC、HTTP、FTP、TELNET、SMTP等多種應用協議進行解碼分析，能讀懂基於這些協議的交互命令和命令執行情況。綜合使用了特徵匹配、協議分析和異常行爲檢測等方法，採用了自適應多協議融合分析技術。
惡意文件分析
蠕蟲檢測能力
強大的蠕蟲檢測隔離能力。內置有1000多條蠕蟲檢測規則，可實時檢測各種蠕蟲，如SQL蠕蟲王、衝擊波、震盪波、衝擊波殺手等蠕蟲。同時通過異常檢測技術能成功檢測新蠕蟲，因此在一定的程度上能解決蠕蟲滯後的問題。
惡意文件檢測
基於FTP、HTTP、POP3、SMTP等協議進行文件重組，識別惡意軟件和未知威脅，可以通過防病毒引擎進行文件病毒查殺。
沙箱動態分析
對網路攻擊分析和惡意文件分析檢測不出的未知威脅，系統可以制定策略將採集的文件或者請求操作放到動態虛擬沙箱中進行實時模擬，並生成文件行爲報告供用戶進行確定APT攻擊的參考。
沙箱分爲兩個部分：
Host（管理機）：負責管理各樣本的分析工作，如啓動分析工作、行爲dump以及生成報告等。
Guest（虛擬機）：Guest是通用的虛擬機，Xen、VirtualBox等。它運行Agent，接收Host發過來的任務（文件）運行後獲取信息。
Agent是跨平臺的，可以運行在Windows、Linux和MAC OS上，主要完成對惡意程序的分析以及host報告分析結果等工作。
每個分析虛擬機都是一個相對獨立乾淨的執行環境，能安全隔離各惡意程序的執行和分析工作。
對沙箱分析出的結果，經過綜合分析後明確屬攻擊的，由專業團隊根據實體樣本更新網絡攻擊分析和惡意文件分析依賴的靜態特徵，增強前線檢測攻擊的能力，形成可循環的閉環。
關聯分析
事件合併分析
支持事件合併，能夠按照指定條件將多條事件合併成一條，並記錄總條數，要求支持指定按照第一條歸併或者最後一條進行歸併，歸並可以按照一定時間內或者條數達到某一數量來觸發。
事件橫向關聯分析
即可以根據同一時間裏，發生的安全事件進行聚合，實現基於事件、基於資產和基於知識的關聯分析。具體如下：
① 根據攻擊源進行信息聚合分析；
② 根據攻擊目標進行信息聚合分析；
③ 根據受攻擊的設備類型進行信息聚合分析；
④ 根據受攻擊的操作系統類型及版本信息進行聚合分析；
⑤ 根據安全事件類型進行聚合分析。
事件字段規則關聯分析
- 基於邏輯表達式的規則
如目的IP=XX &（ 目的端口=80 || 目的端口=8080）。 - 基於統計條件的規則
如一分鐘內某個源IP連續登錄某個目的IP失敗的次數大於6次。 - 多種條件的組合關聯
如字段+統計+事件，三者自由組合關聯分析。
NDAY漏洞關聯
NDAY漏洞關聯是系統收集到的漏洞情報與網站指紋進行匹配，對符合漏洞情報特徵如服務端語言或服務器軟件的網站進行NDAY漏洞預警。
異常流量關聯
關聯一段時間內連接次數、流量大小、連接類型。
運維管理
告警管理
系統提供完善的告警管理與響應功能，一旦接收各分析模塊上報的告警事件，能夠根據用戶設定的各種觸發條件，通過多種信息化手段（如郵件、短信、聲音、界面提示）等方式通知用戶。
在同一告警管理窗口集中顯示來自不同信息源的事件信息，不同信息源的告警經過統一的格式化進入平臺告警界面。管理員可以從告警瀏列表中選中一條或多條告警，以對其執行各種管理操作：如查看詳細信息、確認告警、延後處理、添加註釋、添加專家意見、取消確認、刪除告警、指定負責人、創建告警過濾條件等。
管理人員對告警的處理操作會被詳細記錄，處理後的告警保留在歷史告警中供以後查詢統計。對於當前告警和歷史告警都能夠依據靈活配置的分類規則分別進行統計分析報表。
通報管理
接收、彙總來各種類型，不同來源的安全信息通報，實現漏洞信息錄入、通報信息錄入、通報管理下發等功能。
- 漏洞信息錄入：支持多種廠商多種文件格式的漏掃報告導入，及時對網絡內的漏洞情況進行統一發現，統一管理，統一通報。
- 通報信息錄入：管理員可以通過通報信息錄入模塊將緊急或者嚴重的安全事件，安全趨勢信息錄入系統，進行統一通告。
- 通報管理下發：支持將威脅通報信息生成工單，工單支持新建，編輯，刪除，指派責任人，轉發，處理等功能。
知識管理
知識管理實現知識的設置和錄入，把現有的安全專家知識錄入系統中，系統爲用戶在處理安全事件時提供輔助決策功能。
知識庫包含病毒庫、情報庫、安全知識庫、案例庫等，支持新增庫類並自定義庫名。其具體包含知識列表的詳細信息和知識類型名，包括標題，創建者，知識庫類型，創建時間，最後更新時間以及備註等。
預期成效
- 對用戶網絡環境內發生的網絡行爲進行全面分析，實現對已知網絡攻擊的的準確識別和分析，有效發現有害程序、網絡攻擊等網絡安全事件，對未知威脅進行快速發現和仿真分析，實現攻擊危害評估、APT檢測等安全能力。
- 提供未知威脅檢測的能力，還原惡意程序的行爲過程，豐富靜態樣本庫，提高入侵事件的檢測準確率。