NX-OS Upgrade及N6K-N3K vPC概述

概述:

    第一章:

        介紹了Nexus 3048的NX-OS升級方法。

        介紹了Nexus 3048的License導入方法。

    第二章:

        介紹了採用vPC技術所帶來的好處。

        介紹了vPC的術語及2種部署拓撲類型。

        介紹了vPC的配置。




1.Software Upgrade

 

1.1 NX-OS Upgrade

概述

    與普通IOS設備不同,NX OS升級時,共有2個文件需要升級、安裝,如果只安裝其中一個,可能會導致設備重啓後無法進入系統。這2個文件包括:

  • NX-OS System Software:用於功能實現。

  • NX-OS Kick Start:用於系統的啓動及運行。

        在進行升級時,必須保證同時升級這2個p_w_picpaths,並且都升級到同一版本。


升級步驟

  • 下載NX-OS System Software及Kick Start

        如圖1.1所示,在Cisco官網針對設備型號找到對應的NX-OS

wKiom1RU0unjWJP3AAC53tTKkXU054.jpg

圖1.1 3048對應的p_w_picpaths

 

        如圖1.2、1.3所示,找到版本號完全一致的p_w_picpaths,並下載。

wKiom1RU0zOAwZiuAAF6Ecctcis681.jpg

圖1.2 Kick Start Image

 

wKioL1RU0-3j6SshAACcs_2k8i8442.jpg

圖1.3 System Software Image


  • 使用TFTP或FTP等工具導入2個p_w_picpaths

    ①確定設備flash容量:Switch#dir bootflash:

    ②導入p_w_picpaths:Switch#copy tftp://1.1.1.1/n3000-uk9-kickstart.6.0.2.U3.4.binbootflash:

    ③確定vrf:在②命令行回車後,系統會詢問VRF,這個由當前PC連接的設備接口決定。如PC接在N3K管理口上,則默認所屬VRF爲management;如果PC接在N3K業務口上,默認所屬VRF爲default。

    注意:

        NX-OS System Software的體積較大,TFTP一般傳輸需要幾十分鐘。建議使用FTP。

    ④等待導入完畢:完畢後使用dir bootflash:檢查。

  • 使用安裝命令安裝OS

    在kickstart及system software都導入完畢後,使用如下配置進行安裝,該命令執行後,系統會自動進行校驗。

    Switch#installall kickstart bootflash:/ n3000-uk9-kickstart.6.0.2.U3.4.bin system bootflash:/n3000-uk9.6.0.2.U3.4.bin

    執行完畢後,系統會詢問是否重啓,選擇“yes”即可。


NX-OS Rommon

    當由於管理員操作失誤而導致系統無法進入時,需要進入rommon模式進行應急。例如:管理員升級了system software後,直接通過boot system命令指定加載的system p_w_picpath而未升級kickstart時,重啓設備後由於設備檢測到kickstart與system software版本不一致,就會出現這種情況。

    本小節將以上例作爲示例,對其解決辦法進行介紹。其思路大致是,進入rommon並修改啓動的system p_w_picpath與kickstart p_w_picpath相同。因此,對於已經刪除原有system p_w_picpath或kickstart p_w_picpath的情況,這裏的介紹作用有限。

    對於利用rommon修改口令的方法,可以參考文檔

    http://www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/password_recovery/b_nx_os_pwr/nx_os_pw.html

    相比於普通IOS設備,NX-OS設備中rommon要更爲智能。

  • 如何進入rommon:設備啓動後,按ctrl + ](在IOS設備中,是ctrl + break)。

  • 如何修改啓動p_w_picpath:

        Switch(boot)#loadbootflash:/ n3000-uk9.6.0.2.U1.2.bin

        Switch(boot)#reload


1.2 License Installation

  • 獲取設備SN及PAK

    ①設備SN獲取:Switch#show license host-id

        注意:

            CiscoIOS設備中的命令爲show license udi

    ②獲取PAK:PAK是單獨購買license後,cisco會寄送的一份文件,上面有11位PAK號碼,該號碼用於從Cisco官網下載license。

  • 登錄Cisco官網下載license

    ①進入網址:http://www.cisco.com/go/license

    ②登錄CCO賬號。

    ③在step-1中輸入PAK,系統會生成該PAK對應的license名稱。

    ④在step-2中,要求輸入設備的SN。

    ⑤在step-3中,要求覈對你的郵箱地址和姓名。

    ⑥覈對完畢後,點擊download即可下載;此外,該license還會通過郵箱發送。

  • 將license導入設備

    Switch#copy tftp://1.1.1.1/ N3K141013XXXX_FOCXXXXXXXX0.lic bootflash:

    Switch#dirbootflash:

  • 安裝license

    Switch#install license bootflash:/ N3K141013XXXX_FOCXXXXXXXX0.lic

  • 檢查license

    Switch#show license usage

wKioL1RU1UuhzqPRAAEBOHrj-zw869.jpg

圖1.4 License查看示意圖

        注意:

            CiscoIOS設備中可以直接show version查看,但是NX-OS中不行。圖2.5爲Cisco 2911上showversion的輸出license部分。

wKiom1RU1SfDoMkkAAFtVEDQfwQ645.jpg

圖1.5 IOS設備show version輸出license部分

 

  • 重啓設備




2.vPC Configuration

 

vPC概述

    如圖2.1所示,在傳統網絡中,出於冗餘考慮,匯聚層往往由2臺設備構成,一臺接入層交換機使用2根上聯鏈路,分別連接匯聚層2臺設備。

wKioL1RU1duB7ESoAABtrQeMK7A950.jpg

圖2.1接入-匯聚經典拓撲

 

    這種拓撲所帶來的問題是:受制於STP,對於同一個VLAN的流量,接入交換機上聯冗餘鏈路,無論是上行還是下行流量,都只有其中1條能被利用。

 

    爲了解決這個問題,在DC交換網絡中引入了一種名爲Virtual Port Channel的技術:

    傳統的EtherChannel技術無法讓channel的一端分佈到不同的設備上,如圖2.1中,匯聚層2臺交換機間可以建立EtherChannel,但是接入層交換機無法匯聚層2臺交換機建立channel。

    而vPC技術正是打破了這個限制,讓2臺匯聚層交換機對於接入層交換機而言,就好比是1臺設備一樣,使得接入交換機能與2臺匯聚交換機間建立channel。

    其物理拓撲如圖2.2所示,vPC在不改變物理拓撲的情況下,使得接入交換機能夠與2臺匯聚交換機建立channel。

wKiom1RU1c3z7I14AAB8ro1JbJg050.jpg

圖2.2 vPC物理拓撲

 

 

    其邏輯拓撲如圖2.3所示,通過在匯聚交換機上配置vPC,使得在接入交換機看來上聯的設備只有1臺,因而,接入交換機實際上只需要是1臺支持EtherChannel的設備即可,甚至也可以是1臺服務器。

wKioL1RU1muCKR9fAABhJsbxenw554.jpg

圖2.3vPC邏輯拓撲

 

由此,帶來了以下的好處:

  • 冗餘拓撲:依然冗餘的拓撲保證無單故障點。

  • 無STP阻塞端口:雖然拓撲冗餘,但是採用vPC技術後,不會有端口被STP阻塞。

  • 鏈路充分利用:由於所有端口都處於轉發狀態,在加之優化的hash算法,使得在vPC網絡中,接入設備上聯鏈路能夠被充分地利用。


vPC的實現

    該小節將介紹vPC的相關術語以及拓撲應用環境,後面2個小節將分別針對每一種應用環境,在配置上進行介紹。

 

    vPC的組成如圖2.4所示:

wKioL1RU1q6xxEaBAAFpNITyBQo548.jpg

圖2.4vPC組成示意圖

 

  • vPC:

    由vPC peers與下游設備所構建起來的channel。

  • vPC peer device:

    運行vPC的相鄰設備。

  • vPC domain:

    由2臺vPC peer device所構成的區域。

    domain以數字的形式進行表示,相同domain中的vPC peer device必須隸屬於同一domain id;不同的domain,其ID必須不一致。

    vPC只支持2臺設備。構成domain。

  • vPC member port:

    構成vPC channel的位於vPC peer devices上的端口。

  • vPC peer-link:

    用於同步vPC狀態信息。

    必須先建立peer-keepalive link才能建立peer-link。

    peer-link必須是EtherChannel,即便只有1個端口。

    peer-link模式必須爲trunk。

  • vPC peer-keepalive link:

    用於監控peer device的liveness 。

    可以使用management端口、SVI、routed-mode端口——L3接口。

    peer-keepalive link中間可以跨越多臺L3設備,路由可達即可。

 

    vPC的應用環境可以分爲single-sided vPC和double-sided vPC 2種。

    Single-sided vPC如圖2.5所示,vPC peer devices直接與接入交換機或配置EtherChannel的網絡終端設備相連。只有匯聚交換機間需要配置vPC。

wKioL1RU11PjtAcrAADRK5z5Phc974.jpg

圖2.5 Single-Sided vPC示意圖


    Double-sided vPC如圖2.6所示,此時從接入設備-終端設備,匯聚設備-接入設備之間都配置了vPC,邏輯上來看,相當於接入層和匯聚層之間採用4條鏈路建立了EtherChannel。


wKioL1RU16nCxZDYAAEYGHBimTU284.jpg

圖2.6 Double-Sided vPC示意圖

 

    注意:

        由於本文檔側重於介紹以Nexus 3048作爲接入交換機的組網方式,其它常見的如Nexus5000+Nexus 2000 Fabric Extenders案例不在此進行講解。


Single-Sided vPC 配置

  • Single-Sided vPC簡介

    在Single-Sided vPC網絡中,N3K對下聯交換機或服務器通過vPC虛擬化爲1臺設備。而在N3K的上聯方向,N3K並不向上做vPC,這使得在其上游設備(如上聯設備爲N6K)看來,此設備下聯了2臺N3K。如圖2.7所示,N6K向下做了vPC使得在N3K看來,其上聯到1臺設備上;N3K向上只是做了普通EtherChannel,使得在N6K看來,它下聯到兩臺N3K上;N3K向下做了vPC,使得在服務器看來,服務器上聯到1臺設備上。

wKioL1RU2AmCec3_AAFVEJLlTo4181.jpg

圖2.7 Single-Sided vPC物理拓撲


     以N6K爲參考視角,其邏輯拓撲如圖2.8所示,兩臺N3K在N6K看來,是一一可見的。

wKiom1RU2D7yCv-pAADfoB-_2Zg633.jpg

圖2.8 Single-Sided vPC邏輯拓撲

 

  • 分析

    這種部署方式,使得在N6K與兩臺N3K之間構成環路,如圖2.9所示。由於STP的關係,將有1個端口被阻塞。通常情況下,N3K間的互聯端口其中之一會被阻塞。

wKioL1RU2MXhY9ecAADBO-jy_fE735.jpg

圖2.9 N3K與N6K構成的環路

 

    對於從服務器方向上來的流量,由於N3K向下做了vPC,宏觀上看,N3K-1與N3K-2收到的流量是均衡的。又因爲N3K間互聯端口被STP阻塞,這些流量向上轉發時,在各自的N3K鏈路上以負載均衡的方式直接發送到N6K上,4條上行鏈路能夠被充分利用。

    對於從N6K方向下來的流量,有2條邏輯鏈路能將流量發送給下行設備。由於同一個MAC地址只能在交換機上對應1個端口。因此,對於N3K下聯的1臺設備而言,在上游N6K與N3K間實際只有2條鏈路能被利用。即便N3K下聯的服務器增多,4條鏈路依然可能不會被很好地平均利用。這主要取決於服務器端ARP響應包發送的路徑,以及N3K與N6K間互聯鏈路ARP響應包達到的先後順序。

    此外,由於網絡中引入了STP,其複雜性相應提高。特別需要注意的是,務必從配置上確保N6K作爲STP網絡的主根橋。

  • 配置

    ①N6K配置

        a.開啓相關feature

            N6K-1(config)#feature lacp         //用於channel協商,建議使用LACP

            N6K-1(config)#feature vpc          //開啓vPC特性

 

            N6K-2配置相同

 

        b.配置peer-keepalive link

            N6K-1(config)#intermgmt0

            mgmt0是一個三層接口,peer-keepalive link一般建議使用mgmt0,使用routed mode、SVI理論上也是可行的,不過有一說說其它類型接口做peer-keepalive link時,link fails再recovery時,會有問題,還待考證。

            N6K-1(config-if)#ip address 1.1.1.1 255.255.255.252

            這個IP地址如果不宣告進現網中,是可以隨便選用的,保證keepalive link三層互通即可。

            N6K-1(config-if)#no shutdown

 

            N6K-1(config)#vpc domain 1      

            vpcdomain在對端N6K上必須一致,N6K與N3K上必須不同

            N6K-1(config-vpc)#peer-keepalivedestination 1.1.1.2 source 1.1.1.1 vrf management         //VRF注意與對應keepalive接口所屬VRF保持一致

 

            N6K-2上類似配置

 

            N6K#show vpc peer-keepalive            //查看peer-keepalive link狀態

wKioL1RU2WbiFHQRAAFOoxc1h5U547.jpg

圖2.10peer-keepalive link狀態示例

 

        c.配置peer-link

            N6K-1(config)#intere1/45

            N6K-1(config-if)#switchport mode trunk           //peer-link要求一定是trunk

            N6K-1(config-if)#switchport trunk allowed vlan all    //不一定要all

            N6K-1(config-if)#channel-group 100 mode active

            e1/46同樣的配置

 

            N6K-1(config)#interport-channel 100

            N6K-1(config-if)#description vPC peer-link

            N6K-1(config-if)#switchport mode trunk

            N6K-1(config-if)#switchport trunk allowed vlan all

            N6K-1(config-if)#vpcpeer-link            //指定該鏈路爲peer-link

 

            N6K-2類似配置

 

        d.加入vPC member ports

            N6K-1(config)#intere1/1

            N6K-1(config-if)#switchport mode trunk

            N6K-1(config-if)#switchport trunk allowed vlan all

            N6K-1(config-if)#channel-group1 mode active

 

            N6K-1(config)#intere1/2

            N6K-1(config-if)#switchport mode trunk

            N6K-1(config-if)#switchport trunk allowed vlan all

            N6K-1(config-if)#channel-group 2 mode active

 

            N6K-1(config)#interport-channel 1

            N6K-1(config-if)#description To N3K-1

            N6K-1(config-if)#switchport mode trunk

            N6K-1(config-if)#switchport trunk allowed vlan all

            N6K-1(config-if)#vpc 1         //vpc號不用與channel一致,但是不同member必須不同

 

            N6K-1(config)#interport-channel 2

            N6K-1(config-if)#description To N3K-2

            N6K-1(config-if)#switchport mode trunk

            N6K-1(config-if)#switchport trunk allowed vlan all

            N6K-1(config-if)#vpc 2

 

            N6K-2類似配置

 

    ②N3K配置

        a.開啓相關feature

        b.配置peer-keepalive link

            這裏需要注意的是,N3K上的vPC domain number需要與N6K區分。

        c.配置peer-link

        d.下聯服務器接口加入vPC member ports

            N3K-1(config)#inter e1/1

            N3K-1(config-if)#switchport mode trunk

            這裏端口的模式與服務器端有關,如果服務器需要承載多個VLAN的流量,則應當配置爲trunk。

            N3K-1(config-if)#switchport trunk allowed vlan all

            實際建議與服務器需要承載的VLAN匹配

            N3K-1(config-if)#channel-group 1 mode on

            除非明確服務器網卡支持LACP(802.1ad),且你已知道如何進行配置,否則都建議配置爲on。

            e1/2相同配置


            N3K-1(config)#inter port-channel 1

            N3K-1(config-if)#description To Server-1

            N3K-1(config-if)#switchport mode trunk

            N3K-1(config-if)#switchport allowed vlan all

            N3K-1(config-if)#vpc 1

 

        e.配置EtherChannel

            N3K-1(config)#inter e1/47

            N3K-1(config-if)#switchport mode trunk

            N3K-1(config-if)#switchport trunk allowed vlan all

            N3K-1(config-if)#channel-group 101 mode active

            這裏的channel-group編號無需與上游一致

            e1/48相同配置

            N3K-1(config)#inter port-channel 101

            N3K-1(config-if)#description To N6K

            N3K-1(config-if)#switchport mode trunk

            N3K-1(config-if)#switchport trunk allowed vlan all

 

            N3K-2類似配置

 

            N3K-1#show port-channel summary          //檢查channel狀態

            N6K-1#showvpc          //在N6K上檢查vPC工作狀態

            如圖2.11所示,該命令可以看到vPC keepalive link的狀態、peer-link的狀態以及vPC member的可用情況。

wKiom1RU2rTj1i8sAAMWOFifwGo657.jpg

圖2.11vPC狀態

 

    ③服務器網卡配置

        網卡的配置主要取決於服務器的操作系統以及網卡類型,主要的思路是進入該服務器操作系統的網卡配置界面(如vSwitch中的NIC Teaming),在相關網卡上配置網卡的load balancing模式。

        以ESXi/ESX 5.1爲例,配置步驟如下:

            a.點擊ESXi/ESX host

            b.選擇Configuration標籤

            c.點擊Networking link

            d.點擊Properties

            e.在Ports標籤中,選擇vSwitch,點擊Edit

            f.選擇Networking Teaming標籤,在Load Balancing中選擇Route based on ip hash

        此時,服務器發送的流量將基於Source-Destination哈希運算選擇鏈路,對端N3K的channel mode應當爲靜態類型。


Double-Sided vPC配置

  • Double-Sided vPC簡介

    Double-Sided vPC的物理拓撲接線方式與Single-Sided vPC相同,只是在vPC member指定上有所區別,這使得它們的邏輯拓撲有較大差異。其邏輯拓撲如圖2.12所示,在Double-Sided vPC中,由於N3K向上也做了vPC,使得整個網絡邏輯拓撲變得非常簡單。

wKiom1RU2xySM9IhAABxFz8BeOY560.jpg

圖2.12 Double-Sided vPC邏輯拓撲


  • 好處

    ①簡化邏輯拓撲

    ②消除生成樹

        消除生成樹主要帶來的好處是進一步降低邏輯複雜度,即便是Double-Sided vPC,N3K間互聯鏈路實際上一般也不走用戶流量。

    ③N3K與N6K互聯鏈路充分利用

        這個是部署Double-Sided vPC相較而言最大的好處。

    ④簡化配置

        在Single-Sided vPC中,N6K下聯方向要建立2個vPC member,而部署Double-Sided vPC時,所有下聯N3K端口都劃分到1個vPC中;對於N3K而言,也只是增加了1條命令行而已。

 

  • 配置

    Double-SidedvPC的配置方式與Single-Sided vPC幾乎完全相同,只是劃分vPC member時有所區別。

    在N6K-1與N6K-2上:

    N6K-1(config)#inter e1/1

    N6K-1(config-if)#sw mode trun

    N6K-1(config-if)#sw trun all vlan all

    N6K-1(config-if)#channel-group 1 mode active

 

    N6K-1(config)#inter e1/2

    N6K-1(config-if)#sw mode trun

    N6K-1(config-if)#sw trun all vlan all

    N6K-1(config-if)#channel-group 1 mode active

 

    N6K-1(config)#inter port-channel 1

    N6K-1(config-if)#description To N3K

    N6K-1(config-if)#sw mode trun

    N6K-1(config-if)#sw trun all vlan all

    N6K-1(config-if)#vpc1

      

    N6K-2相同配置

 

    在N3K-1與N3K-2上

    N3K-1(config)#inter port-channel 101

    N3K-1(config-if)#sw mode trun

    N3K-1(config-if)#sw trun all vlan all

    N3K-1(config-if)#vpc 101                   //將po101劃入vpc 101中

    這裏N3K上的vPC number無需與N6K一致

 

    N3K-2相同配置

 

檢查命令與注意事項

  • 檢查命令

    ①查看port-channel狀態

        Nexus#show port-channel summary

    ②查看peer-keepalive link狀態

        Nexus#show vpc peer-keepalive

    ③查看peer-keepalive link、peer-link及vpc member

        Nexus#show vpc

  • 注意事項

    ①peer-keepalive所用接口建議使用mgmt,可以使用routed mode port或SVI。

    ②peer-link必須爲Port Channel trunk mode。

    ③peer-link建議使用10GE接口,可以使用普通帶寬接口。

    ④同一vPC組的設備必須處於同一vPC domain,不同組其domain必須不同。

    ⑤同一vPC member的接口,其vPC number必須一致。

    ⑥如果vPC member ports的模式爲trunk,一定確保在該交換機上創建了相關的VLAN,已保證trunk鏈路能夠承載此VLAN流量。

    ⑦注意查看生成樹狀態,即便在show vpc都顯示up success的情況下,由於STP的配置錯誤,依然可能會出現vPC memberports被阻塞的情況。




參考文檔:

  • Cisco官方文檔《Cisco Nexus 3000 Series HardwareInstallation Guide》

  • Cisco官方文檔《Virtual PortChannel QuickConfiguration Guide》

  • Cisco官方文檔 《Design and Configuration Guide:Best Practices for Virtual Port Channels (vPC) on Cisco Nexus 7000 SeriesSwitches》

  • VMware官方文檔《VMware KB_ Sample configurationof EtherChannel _ Link Aggregation Control Protocol (LACP) with ESXi_ESX andCisco_HP switches》




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章