網絡行爲審計技術深度解析

概述
    網絡行爲審計,Network Behavior Audit,國外更多的叫做Network Behavior Analysis, Network Behavior Anomaly Detection (NBAD)。當然,絕不是National Basketball Association。這是一個新生事物,即便國外,出現的年頭也不長。無論怎麼稱呼,其目的都是通過分析網絡中的數據包、流量,藉助協議分析技術,或 者異常流量分析技術,來發現網絡中的異常和違規行爲,尤其是那些看似合法的行爲。並且,有的產品在該技術上進行擴展,還具有網絡行爲控制、流量控制的功 能。
      網絡行爲審計是安全審計中較爲重要的一種技術實現,其他安全審計技術還包括日誌審計技術、本機代理審計技術、遠程代理審計技術,具體可以參見這個文章
      NBA的實現有多種方式,其中有兩個最重要的分支:
 

  1. 基於*Flow流量分析技術的NBA:通過收集網絡設備的各種格式的Flow日誌來進行分析和審計,發現違規和異常行爲,傳統的網管廠商很多開始以此爲進入安全的切入口;而安全廠商則將其歸入的範疇。
  2. 基於抓包協議分析技術的NBA:通過偵聽網絡中的數據包來進行分析和審計,發現違規和異常行爲,傳統的安全廠商很多以此作爲進入審計領域的切入點。

      
基於抓包協議分析技術的NBA

抓包型NBA技術及產品類型說明
    抓包型網絡行爲審計(NBA)根據用途的不同、部署位置的不同,一般又分爲兩種子類型。
 

  • 上網審計型:審計網絡內部用戶訪問互聯網的行爲和內容、防止內部信息泄漏、用戶違規行爲,提升內部網絡用戶互聯網上網行爲的效率。
  • 業務審計型:對網絡中重要的業務系統(主機、服務器、應用軟件、數據庫等)進行保護,審計所有針對業務系統的網絡操作,防止針對業務系統的違規操作和行爲,提升核心業務系統的網絡安全保障水平,尤其是信息和數據的安全保護能力,防止信息泄漏。

    從上面按用途劃分的定義可以看出,他們是兩類不同的產品。上網審計的對象是用戶及其上網行爲,而業務審計的對象是核心業務系統及其遠程操作。正因爲如此, 他們部署的位置有所不同。上網審計NBA應該部署在互聯網出口處,而業務審計NBA則就近部署在覈心業務安全域的邊界(一般是核心業務系統所在的交換機 處)。
    下面是兩類產品在技術層面的定義:
 

  • 上網審計型: 硬件設備,旁路/串路方式部署在用戶互聯網出口處。通過旁路偵聽/數據報文截獲的方式對內部網絡連接到互聯網(Internet)的數據流進行採集、分析和識別,基於應用層協議還原的行爲和內容審計,例如針對網頁瀏覽、網絡聊天、收發郵件、P2P、網絡音視頻、文件傳輸等的審計。可以制定各種控制策略,進行統計分析。
  • 業務審計型:硬件設備, 採 用旁路偵聽的方式對數據流進行採集、分析和識別,實現對用戶操作數據庫、遠程訪問主機和網絡流量的審計。例如針對各種類型的數據庫SQL語句、操作命令的 審計,針對Telnet、FTP、SSH、 VNC、文件共享協議的審計。管理員可以指定各種控制策略,並進行事後追蹤與審計取證。

    從上面的定義,可以很清楚的看出來兩種類型的異同。從技術架構上講,他們是一樣的,都是抓包引擎加管理器。但是從具體的技術細節來看,他們之間的差異是顯著的。

差異分析

  • 上網審計型系統分析的協議都是互聯網上常用的應用層協議,例如P2P、郵件、HTTP、音視頻、網絡遊戲等,同時,爲了進行更爲精確的審 計,還需要再深入一步,分析協議的內容,例如要能夠分析WEB MAIL和WEB聊天室的內容,分析MSN的聊天內容。因此,一個好的上網審計型NBA必須要有一個巨大的、不斷及時更新的協議分析庫。這個難度是挺大 的,因爲這些互聯網應用協議具有種類多、變化頻繁的特點,並且不會提前通知開發廠家,最明顯就是音視頻、網遊、聊天室。更加的,即使針對HTTP協議,還 要分析出163郵箱、sina郵箱、yahoo郵箱之間的區別。這是一個苦力活。也是產品的核心技術點。
  • 業務審計型系統分析的協議基本上都是區域網中常見的應用層協議,並且與業務系統密切相關。例如TDS、TNS等數據庫訪問協議,FTP、 TELNET協議,HTTP、企業郵箱協議(IMAP、STMP等),等等。對於業務審計型NBA而言,協議種類相對比較固定,並且協議版本比較穩定,比 較易於實現。
  • 對於上網審計型NBA,還有一個重要的技術點就是網頁分類地址庫,就是一個巨大的地址庫,裏面對互聯網的網址進行分門別類。用途就在於控制某些用戶可以訪問哪些類別的網站,不能訪問哪些類別的網站。例如:上班時間不能上游戲網站,而午休時間可以上,等等。
  • 對於業務審計型NBA而言,其核心技術不在於複雜的協議分析,而在於協議分析之後,對生成的歸一化的事件(event)進行二次分析,通 過關聯分析的技術手段,發現針對業務系統的違規行爲,將事件變成真正的事件(incident),或者叫告警。例如,發現某賬戶在某時間段內頻繁的查詢核 心的客戶資料數據庫,從而及時告警,並告知管理員該異常賬戶的行爲,可能該客戶正在下載客戶資料。要實現這種行爲的發現,光靠協議分析是不夠的。協議分析 只能將這種行爲對應的零散的數據報文截獲出來,並變成一條條的事件,可能是100條。而只有通過事件關聯分析,才能將這100條時間轉化爲有意義的 incident告警信息。


關於數據庫審計
     可以說,數據庫審計是業務審計在實現功能上的子集。先看看業務系統的定義:
    “業務系統是由包括主機、網絡設備、安全設備、應用系統、數據庫系統等在內的多種IT資源有機組合而成的。”
    因此,針對業務的審計就要對構成業務系統的各個
IT資源之間的訪問行爲以及業務系統之間的操作的審計。只有通過審計構成業務系統的各種IT資源的運行行爲才能真正反映出業務系統的安全狀態。
   
我們說,面向業務的安全審計系統不單是一個主機審計系統、也不是一個單純的網絡審計或者數據庫審計系統,而是他們的綜合。而數據庫審計主要就是針對業務的核心——數據庫的審計。

關於運維審計(堡壘主機)
      運維審計,也叫做堡壘主機,主要是針對網絡內部人員訪問重要服務器、主機、網絡及安全設備的行爲(尤其是加密協議訪問行爲)進行審計的技術。除了進行訪問 操作的行爲及內容審計,還具備用戶授權、訪問控制、單點登錄的功能,能夠大大減輕服務器及設備管理人員的帳號維護負擔,並能夠實現基於自然人的操作審計和 責任認定。
      運維審計產品可以看作是業務審計在技術實現上的一個變種。傳統的業務審計都以旁路部署的方式來進行網絡包偵聽、協議解析還原和審計分析。而運維審計則是以 應用層代理服務器的方式進行部署,獲取應用層網絡協議,進行還原分析,在重新打包提交給目標主機。他們都是基於應用層協議分析DPI的,只是部署方式有區 別。真是由於代理的部署方式,使得運維審計能夠對SSH、RDP、SFTP等加密協議進行解析還原(因爲有密鑰),從而擴大了傳統業務審計的審計範圍。

綜合網絡安全審計的解決方案
    在真實的案例中,上網審計NBA和業務審計NBA(包括數據庫審計、運維審計等)可以聯合部署,達到綜合安全審計的效果。上網審計部署在整個網絡安全域的 邊界,業務審計部署在覈心業務系統安全域邊界。然後,通過一個統一的管理中心,將這個系統的告警信息彙總到一起,讓管理員實現全網統一的網絡安全審計。

上網審計和業務審計的融合
    那麼,兩類產品可以融合到一起,變成一個產品嗎?我認爲沒有必要,因爲他們針對的需求定位是不同的,技術細節也是有區別的,如果合一,不好部署,只能部署 到核心交換機上,同時審計用戶上網行爲和保護核心業務系統,對設備性能是個挑戰,會力不從心,簡單的問題反而變複雜了。我的觀點是:只要做到方案級別的整 合就夠了,畢竟兩類產品可以獨立發揮功效,滿足客戶某一方面的需求。

抓包型NBA與IDS的聯繫

      國內網絡安全業界多采用抓包方式來實現NBA,與IDS的工作方式很相像。因此,在國外,很多人將這種NBA叫做EDS:Extrusion Detection System。這個名詞比較形象地表明瞭NBA和IDS之間的聯繫和區別。
    他們都是採用抓包的工作方式, 採用旁路偵聽的方式進行工作, 部署十分方便,即插即用,不必對業務網絡配置做任何更改,對業務網絡沒有任何影響。
    工作的時候都需要用到協議分析技術、特徵/策略匹配技術,遇到威脅可以實時阻斷,違規/違規過程可以回放取證。

    NBA和IDS的產品架構比較類似,一般都分爲引擎和管理器兩個部分,引擎負責抓包、協議分析、特徵/策略匹配等底層功能;而管理器則負責數據分析、規則 定義、告警設置、界面交互等上層功能。兩個部分通常分開爲兩個實體組成。不過,隨着用戶需求的發展,有一種趨勢是將上述兩個部分合到一起,即一體化的 NBA設備。對於用戶而言,產品實施無疑更加便捷。

抓包型NBA與IDS的區別

 

首 先,此種NBA是應用層協議分析,因爲他關注的是對被保護對象資產的各種違規業務操作,例如telent、FTP、數據庫訪問、HTTP訪問,等等。而 (傳統的)IDS主要是應用層之下的協議分析,因爲他關注的是對被保護對象資產的各種***行爲。誠然,現在的IDS也開始進行應用層協議分析,但是分析應 用層協議的目的是爲了發現***行爲,例如MSN的釣魚行爲,等等。

因此,他們最本質的區別就在於IDS是檢測***,而NBA是審計用戶/遠程操作。IDS有一個***特徵庫,需要不斷被動的升級;而NBA定義了一個用戶操作規範庫,說明什麼是合法的行爲,那麼只要是違反這個規範的行爲就會被發現。通俗地講,IDS的規則庫是一套黑名單庫,寫滿了什麼是不對的,總是後發制人;而NBA的規則庫是一套白名單庫,簡潔的列出了什麼是允許的,保證先發制人。下面是兩條NBA規則庫的表述性示例:

1)單位規定:所有對數據庫的訪問只能來自於中間件系統所在的IP1,並且只能通過midware賬戶進行訪問,而管理員admin賬戶只能從維護終端IP2訪問數據庫,其他行爲都是違規的。

2)單位規定:任何數據庫管理員帳號都不能讀取數據庫中工資表的員工工資字段,只有財務的小李可以從他的機器(IP)通過工資管理系統進行訪問。

很顯然,NBA在工作的時候,會分析應用層協議,並將不符合規則庫的操作行爲記錄下來。這種分析的效率將會很高,因爲白名單技術確保了規則不會很多,並且相對保持穩定,通常只會跟隨業務的變化、或者是用戶權限的變化而變化。
 

    正是由於上述本質區別,使得NBA更加貼近用戶的業務系統,唯有如此才能真正保護用戶的業務系統不受違規行爲的干擾,而這些違規行爲往往來自網絡的內部!而一旦與業務掛鉤,NBA系統的複雜度就立刻上升,尤其是NBA的管理器部分遠比IDS的管理器要複雜。
    首先是規則更加複雜,不是簡單的字符串匹配,而是更爲複雜的匹配,涉及到多個變量,不僅包括源IP、目的IP、源端口、目的端口、用戶名、帳號、(協議)操作類型、操作內容,等等。
    其次是匹配之後的數據分析更加複雜,不是簡單的告警和阻斷,而是需要進行二次數據分析,也就是針對引擎產生出來的各種歸一化的事件信息進行實時事件關聯分 析realtime event correlation analysis。這種關聯分析,不是一般的關係型數據查詢語言能夠完全達成的。

基於*FLOW流量分析技術的NBA
    這類NBA技術和產品通過採集網絡中(尤其是核心網絡)交換機、路由器等的flow流量日誌,進行行爲分析,發現違規和***。
    一個Flow(流)日誌裏面包括了Flow的起止時刻、包字節數、源/目的IP、源/目的端口,以及其他一些TCP報文信息。
    通過分析這些Flow日誌,可以以建模的形式建立起網絡中的行爲模型,從而得知某個IP的應用層協議流量分佈,找尋網絡中某個IP的非法或者違規行爲。
    Flow有多種格式,最典型的有三種:NetFlow、SFlow和IPFIX。在國內,還有就是華爲、H3C的NetStream流。這些流日誌格式各有不同,但是承載的內容都大致相同。

爲什麼需要Flow分析,它與抓包型NBA的異同

     因爲對於核心的路由、交換設備而言,他們每天工作過程中收發的數據報文量是巨大的,通過採集這些設備產生的摘要性報文信息(Flow日誌),可以以一種比 較經濟的方式獲得網絡行爲數據,從而進行行爲建模、分析和審計。而如果通過抓包方式去做的話,那麼這個用來做抓包分析的設備的硬件性能將可能需要與核心路 由交換設備相當,成本一定會很高。這也是Flow分析型NBA存在價值。
    當然,Flow分析型NBA的審計深度不如抓包型NBA,因爲Flow日誌是摘要數據,信息不全,同時,行爲建模的過程中存在很多模糊匹配的過程,不夠精 確。因而,Flow型NBA適合做全網行爲的統計分析和趨勢分析,而要針對某個安全域中特定的網絡行爲(例如上網行爲、數據庫操作行爲,等等)進行審計的 話,抓包型NBA則更勝一籌。
    我們進一步加以闡述。Flow日誌是摘要數據,應該好理解。既然是摘要,信息一定不全,就會影響到審計的精確性,也不難理解。Flow型NBA的行爲建模 過程的模糊性是指在通過Flow日誌進行行爲建模的時候,需要通過一個特徵庫來進行匹配,以便將TCP流信息轉換成應用層行爲信息。例如,Flow日誌不 會說某個數據包是HTTP協議還是SMTP協議,但是會提供一個TCP端口號。因此,通過一個相對固定的端口知識庫,可以將某個數據包映射爲HTTP包, 另一個數據庫包映射爲SMTP協議包,以此類推。再高級一些,通過分析連續時間內的多個數據包之間的關係,可以判斷出一些異常的數據流,從而推測出某些異 常的行爲。總之,Flow型NBA的分析審計過程是存在模糊性的,不能確保準確。這也是爲何適於做行爲統計和整體趨勢分析的原因。
    另外,Flow型NBA是地道的行爲審計,而抓包型NBA除了可以做行爲審計,還能夠做內容審計。也就是說,抓包型NBA不僅知道誰在執行HTTP操作,還知道他訪問了那個URL,甚至網頁的內容也能知道。
    因此,Flow型NBA與抓包型NBA適用於不同的場合。

技術應用
    本質上講,NBA技術是一類跨網管、安管的技術,是網管與安管融合的一個具體例證。
    目前,Flow型NBA更多是傳統的網管廠商在做,而國內的安管廠商則利用其在IDS上面的技術積累從事抓包型NBA的研製。
    國外的情況也大致相同。
    最後,我們要提一下,NBA和SIM產品具有很多相似性和共通性,他們天生就是一對,協作實現了全網的事件(日誌)收集、分析和審計。

國內外的NBA技術與市場走勢

國外

    NBA這個詞最早就是被老外提出來的。在國外,NBA中的A一般都稱作Analysis,比較中性。我能夠找到的就是200599Gartner出版的一份報告《Use Network Behavior. Analysis for Better Visibility Into Security and Operations Events》。爲此,Gartner還爲它專門建立了一個分類。相比之下,Yankee集團對NBA的研究更加熱衷一些。作爲對IDS的必要補充,NBA一開始就是針對DLP(數據泄漏保護,Data Leakage Protection)這個話題。NBA是一種跨安全管理和網絡管理的技術,它借鑑了網絡管理中的流量分析技術,又借鑑了安全領域常用的協議分析技術,成爲了傳統網絡安全檢測設備的有益補充。下面這幅圖是2007Yankee集團對NBA技術發展趨勢的分析判斷。

在業界的追捧下,NBA技術得到了很快的發展。由於NBA自身技術的多樣性,很快形成了各種分支。尤其因爲NBA技術跨網管和安管的特性,加入這個市場的玩家既有網管廠商,也有安管廠商。天生地由於思路上的差異,各自推出的產品差別還是很大的。很快,由於防範內部威脅的需求不斷增強,NBA出現了一個重要的分支——DAMDatabase Activity Monitoring)。DAM技術起初就是通過網絡抓包來分析基於網絡的數據庫操作行爲,漸漸地,爲了更加全面的保護數據庫,DAM技術又增加了通過數據庫日誌、數據庫代理等技術來完善對數據庫的保護。到後來(2008年開始),DAM已經脫離了NBA,和NBA地位平齊了。

      在2007年,Gartner發佈了一個名爲《Select the Right Monitoring and Fraud Detection Technology》的重要報告。Gartner的幾個領域的分析師們湊在一塊寫出了這個報告。相關的技術被分爲了五類:

1)  數據庫行爲監控(DAM):NBA的衍生,從普遍協議分析到數據庫協議分析;

2)  內容監控和過濾(Content Monitoring and Filtering,簡稱CMF):也是NBA的衍生,從行爲深入到內容;

3)  NBA:(注:這個報告中對利用NBA進行數據庫操作分析的闡述我並不是完全認同的

4)  欺詐檢測

5)  SIEMNBASIEM也是親戚,這個我們以後還會詳談)

      根據這份報告,NBA的定義成形了(NBA allows security and network personnel and inline devices to monitor and alert on network traffic or packet anomalies)。並且,DAM被從NBA中分離了出去,Gartner也爲DAM專門建立了一個分類。

      說到NBA的定義,這個不錯。

      從2008年開始,NBA技術逐漸成熟,並且不斷地衍生,成爲其他新產品的必要技術組成部分。Q1Labs將它與SIEM結合,而Mazu則被Riverbed收購。漸漸的,Gartner不再將NBA列爲熱門技術,轉而大力研究DAMSIEMCMF了。但是,NBA的實質內涵和技術作用一直沒有消褪,這項技術現在依舊很有用。Yankee2008年的一項調查顯示,被訪者(美國公司)中有38%已經部署了NBA

 

國內

      回到國內,基於NBA的抓包技術,國內最火的就是獨具特色的上網行爲審計/管理產品,國情使然。此外,基於NBA的數據庫抓包技術,DAM(國內叫數據庫審計)產品也出現了。還有,網管廠商從Flow日誌入手,開發出了輕量級的NBA產品(流量日誌分析產品)。可以看到,雖然沒有明確的NBA產品,但是它的變種很壯大,上網行爲審計市場沒有人分析統計過,我想肯定不小。

    由於國內技術總體發展滯後於國外,國內NBA興起的時候,國外NBA技術已經開始分化,因而,國內就沒有形成過穩定的NBA的定義,一開始就是花樣繁多的。現在,上網行爲審計、數據庫審計產品所包含的技術特徵已經超越了NBA的基本技術,融合了更多的其他技術。例如網關控制技術、日誌分析技術,等等。

 

關於未來

    NBA會成爲一個基礎性的技術,其本質的DPIDFI技術會被其他各類產品所廣泛採用。國外,獨立的NBA產品恐怕會越來越少,有也很可能是準備被收購的。大型的和專業的安全廠家以及網絡廠家會擁有這項技術,並體現在其產品中。NBA會成爲網管和安管的一個技術交匯點。並且,網管和安管廠家應用這項技術的目標一定會有差異。網絡管理員和安全管理員都需要做網絡行爲分析,但是目的是不同的。

      在國內,NBA會幻化爲多種產品形態,核心的就是上網行爲審計(或上網行爲管理)和數據庫審計(或叫業務審計)。爲了加強控制性,還會出現網關型的產品,例如針對應用層協議分析的流控產品,一種與傳統的QoS流控不太相同的產品。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章