用Netflow進行IP網流量和流向分析
IP網流量管理面臨的挑戰
隨着寬帶互聯網在中國的迅速發展，中國各大電信運營商的網絡規模都在不斷擴張且網絡結構日漸複雜。爲了更好地服務企業客戶，及時瞭解自身網絡的負載狀況和重要業務的帶寬佔用率;準確計量國際國內運營商間、骨幹網/城域網間通信流量和業務類型;正確規劃和評估網絡擴容、升級等目的，電信運營商需要能對網絡和其承載的各類業務進行及時、準確的流量和流向分析。
國內電信運營商當前的網絡流量管理現狀是，絕大多數企業的運維部門還都沒有建設一套能夠完全滿足上述管理需求的網絡及業務流量和流向分析系統。大部分網管系統還只是採用一些通用型的網絡鏈路使用率監視軟件，如MRTG，利用SNMP協議對網絡的重點鏈路和互聯點進行簡單的端口級流量監視和統計;或採用在網絡中部分重點POP點加裝RMON探針的方式，利用RMON I/II協議對網絡中部分端口進行網絡流量和上層業務流量的監視和採集。
但是上述兩種被普遍採用的網絡流量分析系統都有其顯著的技術侷限性。
* 利用SNMP協議能夠對被監視的各個網絡端口進出的數據包數和字節數進行採集，但採集到的流量信息較爲粗糙，不但包括網絡層的客戶業務流量信息，還包括鏈路層的數據幀包頭，Hello數據包，出錯後重新傳送的數據包等流量信息。而且SNMP協議還無法區分網絡層數據流量中各種不同類型客戶業務在總流量中的分佈狀況，也無法對進出的流量進行流向分析。
* 利用RMON協議對運營商網絡進行流量和流向管理可以部分彌補SNMP協議的技術侷限性，如可以對業務流量進行統計，但同時也暴露出新的技術侷限性。首先，由於RMON協議需要對網絡上傳送的每個數據幀進行採集和分析，會耗用大量的CPU資源因而不可能由網絡設備本身實現，需要額外購買和安裝內置式或外置式的RMON探針。市場上現有的 RMON探針處理能力也有限制，還不能支持監控端口速率超過1Gbps的網絡端口。其次，因爲RMON探針爲的硬件設備，價格較貴，所以不可能爲每臺網絡設備都配備，且由於RMON探針，特別是內置式RMON探針接入網絡後不易變更，所以必然會造成出現異常事件時無法及時對特定的網絡鏈路進行監控。最後，由於RMON探針採集到的管理數據是由分析每個數據包後得到的，數據量非常大且分散，協議缺乏內建的數據彙總機制，而且還不包括每個數據包的BGP AS號或路由Next Hop信息，所以不易對數據進行高層次的流向分析。這些因素都會阻礙利用RMON協議對大型網絡進行流量和流向分析的有效性。
爲克服現有網管系統對網絡流量和流向分析功能的技術侷限性，運營商迫切需要尋找一種功能豐富，成熟穩定的新技術對現有管理系統中管理信息的採集和分析方式進行改造和升級。新的信息採集和分析技術還需要對運營商的運行網絡影響小，無需對網絡拓撲進行改變就能平滑升級。而且新的信息採集和分析技術應該即可以對網絡中各個鏈路的帶寬使用率進行統計，也可以對每條鏈路上傳輸不同類型業務的流量和流向進行分析和統計，同時應能適應中國寬帶互聯網網絡規模迅速擴展，鏈路帶寬快速增長的實際狀況，可以根據需要支持採用數據採集的抽樣模式或對採集到的原始數據進行自動匯聚的方式，減少和壓縮網管中心管理服務器需要處理的數據量，確保管理系統的處理能力能夠適應網絡規模的增長。
Netflow技術簡介
作爲業界領先的互聯網解決方案提供商，思科公司不但提供了性能卓越的網絡設備，還同步配套研發了專門針對客戶對網絡流量和流向分析需求的Netflow技術。下面對Netflow技術做一個簡單介紹。
Netflow技術的起源
Netflow 技術最早是於1996年由思科公司的Darren Kerr和Barry Bruins發明的，並於同年5月註冊爲美國專利，專利號爲6，243，667.Netflow技術首先被用於網絡設備對數據交換進行加速，並可同步實現對高速轉發的IP數據流(Flow)進行測量和統計。經過多年的技術演進，Netflow原來用於數據交換加速的功能已經逐步由網絡設備中的專用ASIC 芯片實現，而對流經網絡設備的IP數據流進行測量和統計的功能也已更加成熟，併成爲了當今互聯網領域公認的最主要的IP/MPLS流量分析，統計和計費行業標準。Netflow技術能對IP/MPLS網絡的通信流量進行詳細的行爲模式分析和計量，並提供網絡運行的詳細統計數據。
IP網絡中的數據流(Flow)信息
爲對運營商網絡中不同類型的業務流進行準確的流量和流向分析與計量，首先需要對網絡中傳輸的各種類型數據包進行區分。由於IP網絡的非面向連接特性，網絡中不同類型業務的通信可能是任意一臺終端設備向另一臺終端設備發送的一組IP數據包，這組數據包實際上就構成了運營商網絡中某種業務的一個數據流(Flow)。如果管理系統能對全網傳送的所有數據流進行區分，準確記錄傳送時間、傳送方向和數據流的大小，就可以對運營商全網所有業務流的流量和流向進行分析和統計。
通過分析網絡中不同數據流間的差別，可以發現判斷任何兩個IP數據包是否屬於同一個數據流實際上可以通過分析IP數據包的下屬7個屬性來實現，即數據包的：
* 源IP地址
* 目標IP地址
* 源通信端口號
* 目標通信端口號
* 第三層協議類型
* TOS字節(DSCP)
* 網絡設備輸入(或輸出)的邏輯網絡端口(ifIndex)
思科公司的Netflow技術就是利用分析IP數據包的上述7個屬性，可以快速區分網絡中傳送的各種不同類型業務的數據流。對區分出的每個數據流 Netflow可以進行單獨地跟蹤和準確計量，記錄其傳送方向和目的地等流向特性，統計其起始和結束時間，服務類型，包含的數據包數量和字節數量等流量信息。對採集到的數據流流量和流向信息，Netflow可以定期輸出原始記錄，也可以對原始記錄進行自動匯聚後輸出統計結果。
Netflow的處理機制
從發明之初思科公司的Netflow技術就已完全融入了IOS操作系統中。由於Netflow技術支持所有類型的網絡端口類型，所以每臺內置有 Netflow 功能的思科網絡設備都可以作爲網絡中一臺能夠測量、採集和輸出網絡流量和流向管理信息的數據採集器。而且因爲Netflow實現的管理功能是由網絡設備本身完成的，所以運營商無需購買額外的硬件設備，也無需爲安裝這些硬件設備佔用寶貴的網絡端口或改變網絡鏈路的連接關係。這些都將轉化成對網絡運營成本的大幅度降低，對運營商級的大型網絡優勢尤其明顯。
爲進一步提高Netflow技術對網絡流量和流向信息進行採集和統計的效率和靈活性，Netflow還引進了多級的處理流程，如下圖所示：
 |
在預處理階段，Netflow可以首先根據網絡管理的需要對特定級別的數據流進行過濾或對高速網絡端口進行數據包抽樣，這樣可以在確保需要的管理信息被採集和統計的同時，減少網絡設備的處理負荷，增加全系統的可擴展性。
在後處理階段，Netflow可以選擇把採集到的數據流原始統計信息全部輸出，由上層管理服務器統一接收後再進行數據的分類處理和彙總;也可以選擇由網絡設備自身對原始統計信息進行多種形式的數據匯聚，只把彙總後的統計結果發送給上層管理服務器。由網絡設備進行原始統計信息的匯聚可以大大減少網絡設備輸出的數據量，降低對上層管理服務器的配置要求，提高上層管理系統的擴展性和工作效率。
Netflow支持同時向兩個管理服務器地址輸出採集到的網絡流量和流向統計信息，輸出數據的方式有三種：
1. 簡單高效UDP傳輸協議方式(傳統方式)。但由於採用了UDP協議，數據傳輸的可靠性是不保證的。
2. SNMP MIB方式。管理服務器可以通過SNMP協議訪問網絡設備Netflow MIB庫中存儲的數據流Top N統計結果。
3. 可靠的SCTP傳輸協議方式。利用SCTP傳輸協議，支持擁塞識別，重傳和排隊機制，確保Netflow統計結果數據正確發送給上層管理服務器。
Netflow的版本演進
在Netflow技術的演進過程中，思科公司一共開發出了5個主要的實用版本，即：
* Netflow V1，爲Netflow技術的第一個實用版本。支持IOS 11.1，11.2，11.3和12.0，但在如今的實際網絡環境中已經不建議使用。
* Netflow V5，增加了對數據流BGP AS信息的支持，是當前主要的實際應用版本。支持IOS 11.1CA和12.0及其後續IOS版本。
* Netflow V7，思科Catalyst交換機設備支持的一個Netflow版本，需要利用交換機的MLS或CEF處理引擎。
* Netflow V8，增加了網絡設備對Netflow統計數據進行自動匯聚的功能(共支持11種數據匯聚模式)，可以大大降低對數據輸出的帶寬需求。支持IOS12.0(3)T，12.0(3)S，12.1及其後續IOS版本。
* Netflow V9，一種全新的靈活和可擴展的Netflow數據輸出格式，採用了基於模板(Template)的統計數據輸出。方便添加需要輸出的數據域和支持多種 Netflow新功能，如Multicase Netflow，MPLS Aware Netflow，BGP Next Hop V9，Netflow for IPv6等。支持IOS12.0(24)S和12.3T及其後續IOS版本。在2003年思科公司的Netflow V9還被IETF組織從5個候選方案中確定爲IPFIX(IP Flow Information Export)標準。
Netflow數據輸出格式
下面對網絡流量和流向分析系統中最常使用的Netflow V5數據輸出的數據包格式進行一個簡單介紹。
下圖爲Netflow輸出數據包的包頭格式：
 |
下圖爲包含在每個Netflow V5輸出數據包中的具體數據流的流量和流向統計信息的數據格式：
 |
Netflow V9的數據輸出格式與V5有較大區別，主要是因爲Netflow V9採用了基於模板式的數據輸出方式。網絡設備在進行Netflow V9格式的數據輸出時會向上層管理服務器分別發送數據包模板和數據流紀錄。數據包模板確定了後續發送的數據流紀錄數據包的格式和長度，便於管理服務器對後續數據包的處理。同時爲避免傳輸過程中出現丟包或錯誤，網絡設備會定期重複發送數據包模板給上層管理服務器。
如何利用Netflow技術進行IP網的流量和流向分析
爲充分利用思科Netflow技術在網絡流量和流向信息採集和分析領域的強大功能，運營商可以對現有網管中心的網絡流量管理系統進行技術改造，在原有利用SNMP協議或RMON協議進行數據採集的基礎上，用Netflow技術對其進行補充甚至進行替代。
下面對利用Netflow技術在運營商網絡中的幾種典型使用方式進行介紹。
互聯網交換中心(NAP)流量和流向監控
互聯網交換中心作爲專爲ISP提供網絡互聯和交換網絡通信的匯聚點，需要及時、準確地掌握各個ISP網絡間的通信流量和流向數據，爲交換中心合理規劃路由策略和調整ISP的接入帶寬提供依據。
爲此互聯網交換中心的管理員可以在覈心交換設備與每個ISP互聯的網絡端口上啓動Netflow數據採集。如果ISP的接入端口爲高速率端口(如速率超過 OC-12)，還可以選擇採用數據包抽樣Netflow採集方式，減少對核心交換設備的資源消耗和Netflow統計結果的輸出數據量。
通過進一步分析還可以發現，交換中心作爲提供ISP互聯的服務商，只需要關注下聯ISP間的通信流量和流向統計，而無需進行更加詳細的統計分析(如基於IP地址，IP網段，服務類型等的流量和流向分析)。由於每個ISP都有各自不同的BGP AS號碼，所以交換中心管理員還可以進一步優化核心交換設備的Netflow數據輸出選項：利用Netflow V8開始支持的統計數據內置匯聚功能，由核心交換設備對採集到的原始統計數據進行鍼對不同源和目的地BGP AS號的統計彙總，只把彙總後的統計結果發送給上層管理系統。這樣不但可以大大減少輸出給上層管理系統的統計數據量，還可以簡化上層管理系統的數據分析負荷，使其能夠更加簡便快速地生成所需的統計報表。
下圖爲一個典型的互聯網交換中心利用Netflow技術進行ISP間通信流量和流向管理的系統結構圖：
 |
運營商間互聯鏈路的流量和流向監控
每個電信運營商的網絡都是通過互聯鏈路與一個或多個其它運營商的網絡相連接的。運營商爲更好地服務自己的企業客戶或個人用戶，需要了解自己客戶訪問網絡的模式以及訪問網絡資源的所在位置;同時運營商爲了和其它運營商談判簽訂雙邊或多邊網絡訪問協議，也需要對雙方相互訪問的網絡資源進行評估，這些都需要對雙方網絡互聯鏈路進行通信流量和流向的監控和統計。
爲實現對運營商間互聯鏈路的流量和流向管理，管理員可以在每個與其它運營商互聯的邊界路由器上啓動Netflow，對互聯網絡端口進行數據採集。根據互聯鏈路的端口速率，可以選擇全Netflow採集或數據包抽樣Netflow採集方式。
由於管理員需要分析自己客戶的詳細網絡訪問紀錄，瞭解他們需要獲取的網絡資源的確切位置，所以管理中心應該收集儘可能詳盡的Netflow統計數據，意味着啓動了Netflow數據採集的邊界路由器不應做任何統計數據的匯聚，而應把Netflow原始統計記錄直接發送給上層管理服務器。管理服務器在接收到各個邊界路由器發送來的Netflow原始統計記錄後，可以對數據進行統一分類處理或把原始記錄存儲到數據倉庫中，由後續的數據挖掘應用程序對入庫的數據進行細緻分析，並生成運營商需要的統計報表。
下圖爲運營商利用Netflow技術監控與其它運營商間互聯鏈路流量和流向的管理系統實施示意圖：
 |
企業客戶流量計費
隨着中國寬帶互聯網的發展，越來越多的企業客戶開始利用寬帶網絡改變公司的業務處理流程。電信運營商爲了適應這種需求，需要提供比往更加豐富的服務內容，如不但提供數據接入業務，還可以提供IP電話、視頻和網絡存儲等業務。由於不同類型業務的差異性，傳統固定費率的計費方式也開始變得不能滿足客戶的需要。運營商需要跟隨客戶需求的轉變，同步改變自己的運營支撐系統，提供多種靈活的業務計費方式供客戶選擇。
利用Netflow技術，運營商可以精確統計出客戶租用的接入鏈路上傳送各種不同類型業務的通信流量，包括業務類型，服務等級，通信時間和時長，通信數據量等參數。這些詳細的通信流量統計數據可以被運營商的計費和帳務系統進行處理，生成基於客戶業務流量的計費賬單。
爲實現客戶的業務流量計費，需要在接入客戶的所有接入路由器相應網絡端口上都啓動Netflow數據採集。由於計費數據要求高精確性，所以應該儘量採用全Netflow數據採集方式，避免使用數據包抽樣的Netflow數據採集方式。
接入路由器採集到的Netflow流量統計數據需要被統一發送給運營商的計費系統，由其進行不同類型業務的流量分類，彙總、批價和計費，最終由帳務系統生成提交給客戶的計費賬單。
下圖爲利用Netflow技術採集客戶業務流量信息的運營支撐系統結構圖：
 |
運營商網絡優化
爲提高客戶對運營商網絡的使用滿意度，運營商需要及時瞭解自己網絡的負載狀況，正確預測可能出現的網絡瓶頸，適時規劃未來的網絡升級，這些管理需求都可以通過利用Netflow技術對運營商網絡進行準確的網絡帶寬使用率監測和網絡流向分析來實現。
由於主要是實現對運營商網絡的優化，所以不一定需要對網絡中傳送的所有流量數據進行100%的監測。爲減少對網絡設備的資源佔用，降低對上層管理系統的容量要求，可以選用數據包抽樣的Netflow數據採集方式，對核心網絡的重點鏈路進行統計。採集到的抽樣統計數據可以利用上層管理系統進行全網集中處理，也可以分區域進行局部處理，分別計算出全網的通信流量和流向統計報表或部分區域的通信流量和流向統計報表。由此管理員可以迅速發現網絡當前的使用狀況，不同鏈路的使用率變化趨勢，並可以此爲依據規劃網絡是否需要調整和擴容，最終實現網絡的優化使用。
下圖爲利用Netflow技術進行運營商核心網絡優化的管理系統結構圖：
 |