目前Cisco Nexus 752架構,在數據中心內應用非常普遍。其所提供的VPC特性,使得數據中心網絡的可靠性和可用性進一步增強。關於vpc的相關內容,一直在準備過程中。
在享受752架構帶來的優勢的同時,架構的複雜性也爲數據中心內排障帶來了一定的困難,本文主要針對其流量鏡像的方法和需要注意的問題,做檢驗闡述。本文相關資料參考以下內容:
拓撲圖如上圖所示,服務器雙網卡,AS模式。2K雙上聯兩臺5K,本文簡述本地鏡像的配置方法。
###############################################################################################
我們知道流量鏡像,Switched PortAnalyzer— SPAN,是將源端口的流量複製到目的端口。其中關於源端口和目的端口,在752架構中,存在一定的限制。
-
關於SPAN源接口
在5K上配置Span,其中源端口支持Ehernet接口、FC接口、vFC接口、port-channel、San port-channel、VSAN、VLAN作爲源。其中在做vlan和vsan作爲SPAN源,其實是將所有支持這些指定的接口都作爲了span的源。你可以在Ehernet接口、FC接口、vFC接口這些作爲SPAN源的接口上配置span流量是抓取入向、出向、或者都抓取。(然而FC接口和VSAN接口不能配置抓取如方向的流量,這部分前後矛盾)。
關於源接口的特性
- 源端口不能同時是一個目的接口
- 在VLAN和VSAN作爲SPAN源的情況下,只有入方向的流量會被抓取到。
- 可以是不同vlan和VSAN。
值得注意的還有
- 如果一些fex接口是一個SPAN session的一部分,剩下的fex接口不能使另一個span的一部分
- 每個span session中,源接口最大數量爲128個接口
- 在Nexus 5000系列和Nexus 5500系列,最多支持4組span session
- 在Nexus 5600和Nexus 6000系列,最多支持16組span session
-
關於SPAN目的接口
思科nexus設備支持ethernet接口和FC接口作爲SPAN目的地址。
自從Cisco NX-OS 7.2(0)N1(1)版本以後,HIF和vitural ethernet ports被支持作爲SPAN的目的接口。
Source SPAN |
Dest SPAN |
Ethernet |
Ethernet |
Fibre Channel |
Fibre Channel |
Fibre Channel |
Ethernet (FCoE) |
Virtual Fibre Channel |
Fibre Channel |
Virtual Fibre Channel |
Ethernet (FCoE) |
值得注意的還有,每個local span session必須有一個目的端口用來接收來自ports,vsan,vlan的複製的流量。
目的端口有以下特性
- 可以是任何物理接口,然而已經作爲源接口的不可以。
- 源接口不可以。
- 不能使port-channel 或 san port-channel
- 當span session active的時候,不能參與生成樹的計算。
- 不能是源接口,也不能是源vlan或任何span session源中的一部分。
- 特別值得注意的是—fex接口不可以!!!
另外,SPAN是支持掛ACL的,其中也有一些需要注意的地方,不是本文討論的重點,暫不展開。
同時,SPAN還有SPAN ON Drop和SPAN-on_Latency這兩個特性,也不做展開。
-
其他注意事項
1、關於流量限速
swichport monitor rate-limit interface
在Nexus 5500設備上不適用。限速被span源端口的位置被限制,同樣可以避免硬性生產流量。span被限制在8個接口5Gbps的速率。同時當端口流量超過5G時,接受方向的SPAN的速率被限制在0.71Gbps。這一點,在抓取流量很大時需要被注意。同時,也要注意鏡像目的對端設備的接受能力。
2、當你配置大於2個span monitor session的時候,在經歷重啓後原本啓動着的前兩個,會被關閉,而最後兩個會被激活。例如,你賠了10個session,1和2是active的,在重啓後,9和10會變成active的。要避免這種現象,需要將3到10minitos session手動shutdown。
3、同一個接口的同一個方向,只能在一個monitor session中。
4、講一個span 目的端口與交換機設備相連是不被支持的
5、在管理接口上,不支持做SPAN。
######################################################################################
-
具體配置
下面來看看具體的SPAN的配置:
switch# configure terminal
switch(config)# interface ethernet100/1/24
switch(config-if)# switchport monitor
switch(config-if)# exit
switch(config)# monitor session 1
switch(config-monitor)# destination interface ethernet100/1/24
switch(config-monitor)# source interface ethernet 1/16 both
switch (config-monitor)# no shutdown
-
752架構與抓包
在752架構中,考慮到一般抓包場景。我們在網絡設備抓包一般是爲了判斷數據包是否到達,是否丟失等信息。在752架構中,2K作爲連接服務器的接入交換機而被使用。所以我們將2K作爲SPAN源端口的場景,是比較多的。
然而在這樣的情況下,由於2K通過VPC 特性,雙上聯至5K,其數據包的傳遞路徑並不固定,而2K是作爲5K的遠程辦卡被使用,所以在抓包時,我們需要在2K雙上聯的2臺5K上都配置SPAN,做流量鏡像。同時,由於前文提到的FEX接口不可以作爲SPAN的目的接口,要將一臺2K上的一個接口的流量完整鏡像下來,需要在2臺5K上都做抓包。如下圖:
只有這樣,才能在兩臺PC上獲取完整的來自一個N2K接口的複製的流量。
由於在兩臺電腦上分別抓包,兩個獨立的抓包文件並不利於我們對相關數據進行分析,在這樣的情況下,可以考慮引進TAP設備,對流量進行彙總,這樣抓取到的一份抓包文件,對我們日後的抓包分析將提供極大的便利。
其中,如果需要在7K上做鏡像,還有其他注意點,本文將會在之後更新。
同時,雖然Nexus設備支持在本地做流量的抓取,即ethanalyzer,但該方法只能用來抓取需要通過CPU轉發的流量,不能覆蓋大部分流量鏡像場景。