概述:
第一章:
介紹了Nexus 3048的NX-OS升級方法。
介紹了Nexus 3048的License導入方法。
第二章:
介紹了採用vPC技術所帶來的好處。
介紹了vPC的術語及2種部署拓撲類型。
介紹了vPC的配置。
1.Software Upgrade
1.1 NX-OS Upgrade
概述
與普通IOS設備不同,NX OS升級時,共有2個文件需要升級、安裝,如果只安裝其中一個,可能會導致設備重啓後無法進入系統。這2個文件包括:
NX-OS System Software:用於功能實現。
NX-OS Kick Start:用於系統的啓動及運行。
在進行升級時,必須保證同時升級這2個p_w_picpaths,並且都升級到同一版本。
升級步驟
下載NX-OS System Software及Kick Start
如圖1.1所示,在Cisco官網針對設備型號找到對應的NX-OS
圖1.1 3048對應的p_w_picpaths
如圖1.2、1.3所示,找到版本號完全一致的p_w_picpaths,並下載。
圖1.2 Kick Start Image
圖1.3 System Software Image
使用TFTP或FTP等工具導入2個p_w_picpaths
①確定設備flash容量:Switch#dir bootflash:
②導入p_w_picpaths:Switch#copy tftp://1.1.1.1/n3000-uk9-kickstart.6.0.2.U3.4.binbootflash:
③確定vrf:在②命令行回車後,系統會詢問VRF,這個由當前PC連接的設備接口決定。如PC接在N3K管理口上,則默認所屬VRF爲management;如果PC接在N3K業務口上,默認所屬VRF爲default。
注意:
NX-OS System Software的體積較大,TFTP一般傳輸需要幾十分鐘。建議使用FTP。
④等待導入完畢:完畢後使用dir bootflash:檢查。
使用安裝命令安裝OS
在kickstart及system software都導入完畢後,使用如下配置進行安裝,該命令執行後,系統會自動進行校驗。
Switch#installall kickstart bootflash:/ n3000-uk9-kickstart.6.0.2.U3.4.bin system bootflash:/n3000-uk9.6.0.2.U3.4.bin
執行完畢後,系統會詢問是否重啓,選擇“yes”即可。
NX-OS Rommon
當由於管理員操作失誤而導致系統無法進入時,需要進入rommon模式進行應急。例如:管理員升級了system software後,直接通過boot system命令指定加載的system p_w_picpath而未升級kickstart時,重啓設備後由於設備檢測到kickstart與system software版本不一致,就會出現這種情況。
本小節將以上例作爲示例,對其解決辦法進行介紹。其思路大致是,進入rommon並修改啓動的system p_w_picpath與kickstart p_w_picpath相同。因此,對於已經刪除原有system p_w_picpath或kickstart p_w_picpath的情況,這裏的介紹作用有限。
對於利用rommon修改口令的方法,可以參考文檔
http://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/password_recovery/b_nx_os_pwr/nx_os_pw.html
相比於普通IOS設備,NX-OS設備中rommon要更爲智能。
如何進入rommon:設備啓動後,按ctrl + ](在IOS設備中,是ctrl + break)。
如何修改啓動p_w_picpath:
Switch(boot)#loadbootflash:/ n3000-uk9.6.0.2.U1.2.bin
Switch(boot)#reload
1.2 License Installation
獲取設備SN及PAK
①設備SN獲取:Switch#show license host-id
注意:
CiscoIOS設備中的命令爲show license udi
②獲取PAK:PAK是單獨購買license後,cisco會寄送的一份文件,上面有11位PAK號碼,該號碼用於從Cisco官網下載license。
登錄Cisco官網下載license
①進入網址:http://www.cisco.com/go/license
②登錄CCO賬號。
③在step-1中輸入PAK,系統會生成該PAK對應的license名稱。
④在step-2中,要求輸入設備的SN。
⑤在step-3中,要求覈對你的郵箱地址和姓名。
⑥覈對完畢後,點擊download即可下載;此外,該license還會通過郵箱發送。
將license導入設備
Switch#copy tftp://1.1.1.1/ N3K141013XXXX_FOCXXXXXXXX0.lic bootflash:
Switch#dirbootflash:
安裝license
Switch#install license bootflash:/ N3K141013XXXX_FOCXXXXXXXX0.lic
檢查license
Switch#show license usage
圖1.4 License查看示意圖
注意:
CiscoIOS設備中可以直接show version查看,但是NX-OS中不行。圖2.5爲Cisco 2911上showversion的輸出license部分。
圖1.5 IOS設備show version輸出license部分
重啓設備
2.vPC Configuration
vPC概述
如圖2.1所示,在傳統網絡中,出於冗餘考慮,匯聚層往往由2臺設備構成,一臺接入層交換機使用2根上聯鏈路,分別連接匯聚層2臺設備。
圖2.1接入-匯聚經典拓撲
這種拓撲所帶來的問題是:受制於STP,對於同一個VLAN的流量,接入交換機上聯冗餘鏈路,無論是上行還是下行流量,都只有其中1條能被利用。
爲了解決這個問題,在DC交換網絡中引入了一種名爲Virtual Port Channel的技術:
傳統的EtherChannel技術無法讓channel的一端分佈到不同的設備上,如圖2.1中,匯聚層2臺交換機間可以建立EtherChannel,但是接入層交換機無法匯聚層2臺交換機建立channel。
而vPC技術正是打破了這個限制,讓2臺匯聚層交換機對於接入層交換機而言,就好比是1臺設備一樣,使得接入交換機能與2臺匯聚交換機間建立channel。
其物理拓撲如圖2.2所示,vPC在不改變物理拓撲的情況下,使得接入交換機能夠與2臺匯聚交換機建立channel。
圖2.2 vPC物理拓撲
其邏輯拓撲如圖2.3所示,通過在匯聚交換機上配置vPC,使得在接入交換機看來上聯的設備只有1臺,因而,接入交換機實際上只需要是1臺支持EtherChannel的設備即可,甚至也可以是1臺服務器。
圖2.3vPC邏輯拓撲
由此,帶來了以下的好處:
冗餘拓撲:依然冗餘的拓撲保證無單故障點。
無STP阻塞端口:雖然拓撲冗餘,但是採用vPC技術後,不會有端口被STP阻塞。
鏈路充分利用:由於所有端口都處於轉發狀態,在加之優化的hash算法,使得在vPC網絡中,接入設備上聯鏈路能夠被充分地利用。
vPC的實現
該小節將介紹vPC的相關術語以及拓撲應用環境,後面2個小節將分別針對每一種應用環境,在配置上進行介紹。
vPC的組成如圖2.4所示:
圖2.4vPC組成示意圖
vPC:
由vPC peers與下游設備所構建起來的channel。
vPC peer device:
運行vPC的相鄰設備。
vPC domain:
由2臺vPC peer device所構成的區域。
domain以數字的形式進行表示,相同domain中的vPC peer device必須隸屬於同一domain id;不同的domain,其ID必須不一致。
vPC只支持2臺設備。構成domain。
vPC member port:
構成vPC channel的位於vPC peer devices上的端口。
vPC peer-link:
用於同步vPC狀態信息。
必須先建立peer-keepalive link才能建立peer-link。
peer-link必須是EtherChannel,即便只有1個端口。
peer-link模式必須爲trunk。
vPC peer-keepalive link:
用於監控peer device的liveness 。
可以使用management端口、SVI、routed-mode端口——L3接口。
peer-keepalive link中間可以跨越多臺L3設備,路由可達即可。
vPC的應用環境可以分爲single-sided vPC和double-sided vPC 2種。
Single-sided vPC如圖2.5所示,vPC peer devices直接與接入交換機或配置EtherChannel的網絡終端設備相連。只有匯聚交換機間需要配置vPC。
圖2.5 Single-Sided vPC示意圖
Double-sided vPC如圖2.6所示,此時從接入設備-終端設備,匯聚設備-接入設備之間都配置了vPC,邏輯上來看,相當於接入層和匯聚層之間採用4條鏈路建立了EtherChannel。
圖2.6 Double-Sided vPC示意圖
注意:
由於本文檔側重於介紹以Nexus 3048作爲接入交換機的組網方式,其它常見的如Nexus5000+Nexus 2000 Fabric Extenders案例不在此進行講解。
Single-Sided vPC 配置
Single-Sided vPC簡介
在Single-Sided vPC網絡中,N3K對下聯交換機或服務器通過vPC虛擬化爲1臺設備。而在N3K的上聯方向,N3K並不向上做vPC,這使得在其上游設備(如上聯設備爲N6K)看來,此設備下聯了2臺N3K。如圖2.7所示,N6K向下做了vPC使得在N3K看來,其上聯到1臺設備上;N3K向上只是做了普通EtherChannel,使得在N6K看來,它下聯到兩臺N3K上;N3K向下做了vPC,使得在服務器看來,服務器上聯到1臺設備上。
圖2.7 Single-Sided vPC物理拓撲
以N6K爲參考視角,其邏輯拓撲如圖2.8所示,兩臺N3K在N6K看來,是一一可見的。
圖2.8 Single-Sided vPC邏輯拓撲
分析
這種部署方式,使得在N6K與兩臺N3K之間構成環路,如圖2.9所示。由於STP的關係,將有1個端口被阻塞。通常情況下,N3K間的互聯端口其中之一會被阻塞。
圖2.9 N3K與N6K構成的環路
對於從服務器方向上來的流量,由於N3K向下做了vPC,宏觀上看,N3K-1與N3K-2收到的流量是均衡的。又因爲N3K間互聯端口被STP阻塞,這些流量向上轉發時,在各自的N3K鏈路上以負載均衡的方式直接發送到N6K上,4條上行鏈路能夠被充分利用。
對於從N6K方向下來的流量,有2條邏輯鏈路能將流量發送給下行設備。由於同一個MAC地址只能在交換機上對應1個端口。因此,對於N3K下聯的1臺設備而言,在上游N6K與N3K間實際只有2條鏈路能被利用。即便N3K下聯的服務器增多,4條鏈路依然可能不會被很好地平均利用。這主要取決於服務器端ARP響應包發送的路徑,以及N3K與N6K間互聯鏈路ARP響應包達到的先後順序。
此外,由於網絡中引入了STP,其複雜性相應提高。特別需要注意的是,務必從配置上確保N6K作爲STP網絡的主根橋。
配置
①N6K配置
a.開啓相關feature
N6K-1(config)#feature lacp //用於channel協商,建議使用LACP
N6K-1(config)#feature vpc //開啓vPC特性
N6K-2配置相同
b.配置peer-keepalive link
N6K-1(config)#intermgmt0
mgmt0是一個三層接口,peer-keepalive link一般建議使用mgmt0,使用routed mode、SVI理論上也是可行的,不過有一說說其它類型接口做peer-keepalive link時,link fails再recovery時,會有問題,還待考證。
N6K-1(config-if)#ip address 1.1.1.1 255.255.255.252
這個IP地址如果不宣告進現網中,是可以隨便選用的,保證keepalive link三層互通即可。
N6K-1(config-if)#no shutdown
N6K-1(config)#vpc domain 1
vpcdomain在對端N6K上必須一致,N6K與N3K上必須不同
N6K-1(config-vpc)#peer-keepalivedestination 1.1.1.2 source 1.1.1.1 vrf management //VRF注意與對應keepalive接口所屬VRF保持一致
N6K-2上類似配置
N6K#show vpc peer-keepalive //查看peer-keepalive link狀態
圖2.10peer-keepalive link狀態示例
c.配置peer-link
N6K-1(config)#intere1/45
N6K-1(config-if)#switchport mode trunk //peer-link要求一定是trunk
N6K-1(config-if)#switchport trunk allowed vlan all //不一定要all
N6K-1(config-if)#channel-group 100 mode active
e1/46同樣的配置
N6K-1(config)#interport-channel 100
N6K-1(config-if)#description vPC peer-link
N6K-1(config-if)#switchport mode trunk
N6K-1(config-if)#switchport trunk allowed vlan all
N6K-1(config-if)#vpcpeer-link //指定該鏈路爲peer-link
N6K-2類似配置
d.加入vPC member ports
N6K-1(config)#intere1/1
N6K-1(config-if)#switchport mode trunk
N6K-1(config-if)#switchport trunk allowed vlan all
N6K-1(config-if)#channel-group1 mode active
N6K-1(config)#intere1/2
N6K-1(config-if)#switchport mode trunk
N6K-1(config-if)#switchport trunk allowed vlan all
N6K-1(config-if)#channel-group 2 mode active
N6K-1(config)#interport-channel 1
N6K-1(config-if)#description To N3K-1
N6K-1(config-if)#switchport mode trunk
N6K-1(config-if)#switchport trunk allowed vlan all
N6K-1(config-if)#vpc 1 //vpc號不用與channel一致,但是不同member必須不同
N6K-1(config)#interport-channel 2
N6K-1(config-if)#description To N3K-2
N6K-1(config-if)#switchport mode trunk
N6K-1(config-if)#switchport trunk allowed vlan all
N6K-1(config-if)#vpc 2
N6K-2類似配置
②N3K配置
a.開啓相關feature
b.配置peer-keepalive link
這裏需要注意的是,N3K上的vPC domain number需要與N6K區分。
c.配置peer-link
d.下聯服務器接口加入vPC member ports
N3K-1(config)#inter e1/1
N3K-1(config-if)#switchport mode trunk
這裏端口的模式與服務器端有關,如果服務器需要承載多個VLAN的流量,則應當配置爲trunk。
N3K-1(config-if)#switchport trunk allowed vlan all
實際建議與服務器需要承載的VLAN匹配
N3K-1(config-if)#channel-group 1 mode on
除非明確服務器網卡支持LACP(802.1ad),且你已知道如何進行配置,否則都建議配置爲on。
e1/2相同配置
N3K-1(config)#inter port-channel 1
N3K-1(config-if)#description To Server-1
N3K-1(config-if)#switchport mode trunk
N3K-1(config-if)#switchport allowed vlan all
N3K-1(config-if)#vpc 1
e.配置EtherChannel
N3K-1(config)#inter e1/47
N3K-1(config-if)#switchport mode trunk
N3K-1(config-if)#switchport trunk allowed vlan all
N3K-1(config-if)#channel-group 101 mode active
這裏的channel-group編號無需與上游一致
e1/48相同配置
N3K-1(config)#inter port-channel 101
N3K-1(config-if)#description To N6K
N3K-1(config-if)#switchport mode trunk
N3K-1(config-if)#switchport trunk allowed vlan all
N3K-2類似配置
N3K-1#show port-channel summary //檢查channel狀態
N6K-1#showvpc //在N6K上檢查vPC工作狀態
如圖2.11所示,該命令可以看到vPC keepalive link的狀態、peer-link的狀態以及vPC member的可用情況。
圖2.11vPC狀態
③服務器網卡配置
網卡的配置主要取決於服務器的操作系統以及網卡類型,主要的思路是進入該服務器操作系統的網卡配置界面(如vSwitch中的NIC Teaming),在相關網卡上配置網卡的load balancing模式。
以ESXi/ESX 5.1爲例,配置步驟如下:
a.點擊ESXi/ESX host
b.選擇Configuration標籤
c.點擊Networking link
d.點擊Properties
e.在Ports標籤中,選擇vSwitch,點擊Edit
f.選擇Networking Teaming標籤,在Load Balancing中選擇Route based on ip hash
此時,服務器發送的流量將基於Source-Destination哈希運算選擇鏈路,對端N3K的channel mode應當爲靜態類型。
Double-Sided vPC配置
Double-Sided vPC簡介
Double-Sided vPC的物理拓撲接線方式與Single-Sided vPC相同,只是在vPC member指定上有所區別,這使得它們的邏輯拓撲有較大差異。其邏輯拓撲如圖2.12所示,在Double-Sided vPC中,由於N3K向上也做了vPC,使得整個網絡邏輯拓撲變得非常簡單。
圖2.12 Double-Sided vPC邏輯拓撲
好處
①簡化邏輯拓撲
②消除生成樹
消除生成樹主要帶來的好處是進一步降低邏輯複雜度,即便是Double-Sided vPC,N3K間互聯鏈路實際上一般也不走用戶流量。
③N3K與N6K互聯鏈路充分利用
這個是部署Double-Sided vPC相較而言最大的好處。
④簡化配置
在Single-Sided vPC中,N6K下聯方向要建立2個vPC member,而部署Double-Sided vPC時,所有下聯N3K端口都劃分到1個vPC中;對於N3K而言,也只是增加了1條命令行而已。
配置
Double-SidedvPC的配置方式與Single-Sided vPC幾乎完全相同,只是劃分vPC member時有所區別。
在N6K-1與N6K-2上:
N6K-1(config)#inter e1/1
N6K-1(config-if)#sw mode trun
N6K-1(config-if)#sw trun all vlan all
N6K-1(config-if)#channel-group 1 mode active
N6K-1(config)#inter e1/2
N6K-1(config-if)#sw mode trun
N6K-1(config-if)#sw trun all vlan all
N6K-1(config-if)#channel-group 1 mode active
N6K-1(config)#inter port-channel 1
N6K-1(config-if)#description To N3K
N6K-1(config-if)#sw mode trun
N6K-1(config-if)#sw trun all vlan all
N6K-1(config-if)#vpc1
N6K-2相同配置
在N3K-1與N3K-2上
N3K-1(config)#inter port-channel 101
N3K-1(config-if)#sw mode trun
N3K-1(config-if)#sw trun all vlan all
N3K-1(config-if)#vpc 101 //將po101劃入vpc 101中
這裏N3K上的vPC number無需與N6K一致
N3K-2相同配置
檢查命令與注意事項
檢查命令
①查看port-channel狀態
Nexus#show port-channel summary
②查看peer-keepalive link狀態
Nexus#show vpc peer-keepalive
③查看peer-keepalive link、peer-link及vpc member
Nexus#show vpc
注意事項
①peer-keepalive所用接口建議使用mgmt,可以使用routed mode port或SVI。
②peer-link必須爲Port Channel trunk mode。
③peer-link建議使用10GE接口,可以使用普通帶寬接口。
④同一vPC組的設備必須處於同一vPC domain,不同組其domain必須不同。
⑤同一vPC member的接口,其vPC number必須一致。
⑥如果vPC member ports的模式爲trunk,一定確保在該交換機上創建了相關的VLAN,已保證trunk鏈路能夠承載此VLAN流量。
⑦注意查看生成樹狀態,即便在show vpc都顯示up success的情況下,由於STP的配置錯誤,依然可能會出現vPC memberports被阻塞的情況。
參考文檔:
Cisco官方文檔《Cisco Nexus 3000 Series HardwareInstallation Guide》
Cisco官方文檔《Virtual PortChannel QuickConfiguration Guide》
Cisco官方文檔 《Design and Configuration Guide:Best Practices for Virtual Port Channels (vPC) on Cisco Nexus 7000 SeriesSwitches》
VMware官方文檔《VMware KB_ Sample configurationof EtherChannel _ Link Aggregation Control Protocol (LACP) with ESXi_ESX andCisco_HP switches》