虛擬化中網絡的架構
虛擬化中物理網絡介紹
虛擬化中虛擬網絡介紹
華爲虛擬化產品的網絡特性
一、虛擬化中網絡的架構
1、虛擬化中的網絡流量
在雲計算和虛擬化中，數據中心的流量分爲南北向流量和東西向流量。很容易理解，我們以網絡架構圖爲參考，以路由器（不區分是物理路由器還是虛擬路由器）爲分界點，經過路由器的流量爲南北向流量，不經過路由器的流量爲東西向流量。
當外網訪問IDC機房業務時，該流量爲南北向流量；如果IDC機房內運行了員工的個人虛擬機，該虛擬機訪問業務時，不需要經過路由器，同樣是訪問業務的流量，但該流量爲東西向流量。
隨着雲計算的發展，主要是由於東西向流量越來越多，以前採用的是核心層、匯聚層和接入層的架構，實踐證明這種架構已經無法滿足和適應雲計算的部署。因此，三層的網絡架構發展成了大二層架構，大二層可以很好地滿足東西向流量較大的要求。另外，虛擬機也是構成網絡的一部分，它們幾乎都是通過網橋接入到網絡中，爲了更方便管理和配置，大多數情況下，我們會使用虛擬交換機，它是網橋的一種高級體現形式，一個虛擬機可以有多個虛擬網卡，通過虛擬網卡，虛擬機可以與一臺虛擬交換機相連，也可以同時與多個虛擬交換機相連。
2、網絡基本概念
（1）廣播和單播概念
廣播會在整個廣播域中擴散，同域內的所有網絡設備都會接收到該廣播，同時會檢查這個廣播數據包中的內容，如果發現廣播中的接收方是自己，則會給發起方回一個單播的消息，如果發現接收方不是自己，則會將這個廣播包丟棄。
單播是指網絡設備進行一對一的通信，如果一臺設備進行消息的發送，另外一臺只負責接收，叫做半雙工，如果兩臺設備同時在進行發送和接收，叫做全雙工。
如果網絡中充斥了太多廣播包的話，在帶寬一定的情況下，會造成單播的堵塞，反應到用戶側，用戶就會感覺上網網頁打不開，郵件發送不出去，或者在打遊戲時老掉線。除了佔用帶寬外，廣播還有一定的安全隱患。
（2）路由和默認網關
早期使用固定電話通訊，長途電話需要在撥號前加區號，需要查黃頁或其它材料去找對應的區號，區號的作用是進行號碼路由，讓通話能夠到達對應的區市，而用來查詢區號的黃頁就相當於是路由表。如果把廣播域之間的通信看做爲打長途電話的話，那麼撥電話的人通過黃頁找到對方的電話號碼的方式就叫路由。
默認網關的作用和默認路由是一樣的，拿打電話舉例，以前我們有個114查號臺，如果不知道對方的電話號碼，可以打114進行查號獲取對方的電話號碼，默認網關的作用與114類似，默認網關收到通信請求時，如果自己的路由表中存在目的地址的網段，則會替通訊的發起者進行路由的轉發，如果自己的路由表中沒有目的地址，它會給發起者返回一個目的地址不可達的消息。
（3）VLAN
VLAN（Virtual Local Area Network）是將一個物理的LAN在邏輯上劃分成多個廣播域的通信技術。同一個VLAN內的主機間可以直接通信，而不同VLAN內的主機間不能直接通信，從而將廣播報文限制在一個VLAN內。
VLAN的好處：
1 限制廣播域，節省了帶寬，提高網絡處理能力；
2 增強局域網的安全性，即一個VLAN內的用戶不能與其它VLAN內的用戶直接通信
3 提高了網絡的健壯性，如果網絡故障，也只會在本VLAN內傳遞，其他VLAN不影響
4 靈活構建虛擬工作組，用VLAN可以將不同的用戶劃分到不同的工作組，同一工作組的用戶也不必侷限於某一固定的物理範圍
VLAN的原理：VLAN是在傳統的以太網數據幀中加入了4字節的802.1Q Tag，不同的VLAN就用這個標籤來區分。
在一個VLAN交換網絡中，以太網幀有以下兩種形式：
有標記幀（tagged frame）：加入了4字節802.1Q Tag的幀
無標記幀（untagged frame）：原始的、未加入4字節 802.1Q Tag的幀
VLAN中有以下兩種鏈路類型：
接入鏈路（Access Link）：用於連接用戶主機和交換機的鏈路。通常情況下，主機並不需要知道自己屬於哪個VLAN，主機硬件通常也無法識別帶有VLAN標記的幀。因此，主機發送和接收的幀都是untagged幀。
幹道鏈路（Trunk Link）：用於交換機間或交換機與路由器之間的連接。幹道鏈路可以承載多個不同VLAN的數據，數據幀在幹道鏈路傳輸時，幹道鏈路兩端的設備需要識別數據幀屬於哪個VLAN，所以在幹道鏈路上傳輸的幀都是Tagged幀。
根據接口對VLAN幀的識別情況，可分爲兩類：
Access接口：Access接口是交換機上用來連接用戶主機的接口，它只能連接接入鏈路。僅允許唯一的VLAN ID 通過本接口，這個VLAN ID 與接口的缺省VLAN ID相同，Access接口發往對端設備的以太網幀永遠是不帶Tag標籤的幀。
Trunk接口：Trunk接口是交換機上用來與其它交換機連接的接口，它只能連接幹道鏈路，允許多個VLAN的數據幀（帶Tag標籤）通過。
每種類型的接口都可以配置一個缺省VLAN，對應的VLAN ID爲PVID（Port Default VLAN ID）。接口類型不同，缺省VLAN的含義也有所不同。幾乎所有交換機出廠時的默認VLAN都爲1。
數據幀處理方式如下：
二、虛擬化中物理網絡介紹
在虛擬化中，承載業務的都是虛擬機，虛擬機運行在物理服務器內部，如何使虛擬機接入到網絡中，首先要解決的是將物理服務器連接到網絡中，在這個過程中，需要用到的設備有路由器、三層交換機、二層交換機以及服務器自身的網卡。
1、TCP/IP四層模型
路由工作在傳輸層（三層），VLAN工作在網絡層（二層）。如果某臺設備具備了路由功能，可以查看路由表，我們就把它當成三層設備，如果僅可以劃分VLAN，就把它當成二層設備，比如Hub不能劃分VLAN，只能起到分線器的作用，所以它是一個鏈路層（一層）設備。工作在傳輸層的設備有路由器和三層交換機，工作在網絡層的設備一般是二層交換機，而物理服務器的網卡、連接網卡的網線以及光纖等線路則屬於鏈路層的設備。
Q：三層交換機和路由器是否可以互相取代呢？
首先，交換機和路由器的作用不一樣，交換機通過 ASIC芯片負責高速的數據交換，而路由器通過維護路由表進行不同網段之間的路由尋址，同時具備隔離廣播域的特性。就算路由器具備了交換功能，交換具備了路由功能，那也只是附帶功能，不能當主要用途來使用。
第二，交換機主要適用於局域網，路由器一般適用於廣域網。局域網的特點主要是數據交換
頻繁、網絡接口單一、數量較大，對廣域網來說，網絡類型和接口類型衆多，路由器的路由功能通常非常強大，不僅適用於同種協議的局域網間，更適用於不同協議的局域網與廣域網間。它的優勢在於選擇最佳路由、負荷分擔、鏈路備份及與其它網絡進行路由信息的交換等等路由器所具有的功能。
第三，三層交換機和路由器的性能不一樣。路由器一般由基於微處理器的軟件路由引擎執行數據包交換，而三層交換機通過硬件執行數據包交換。三層交換機在對第一個數據流進行路由後，會產生一個 MAC地址與IP地址的映射表，當同樣的數據流再次通過時，將根據此表直接從二層通過而不會再次路由。
三層交換機的路由查找是針對數據流的，它利用ASIC技術的緩存機制，可以很容易實現快速轉發，大大節約成本。而路由器的轉發採用最長匹配的方式，通常使用軟件來實現，實現方式複雜，轉發效率較低。 從整體性能上比較，三層交換機的性能要遠優於路由器，非常適用於數據交換頻繁的局域網；而路由器雖然路由功能非常強大，但它的數據包轉發效率遠低於三層交換機，更適用於不同網絡類型但數據交換不是很頻繁的互聯，如局域網與互聯網的互聯。
2、內部網絡規劃
路由器解決了內部網絡與互聯網的通信問題，那麼內部網絡如何規劃，最終目的是將物理服務器接入到網絡中，目前最主流的兩種服務器接入網絡的方式分別是***ToR（Top of Rack，櫃頂接入）和EoR（End of Row，列頭接入）。***
ToR，顧名思義，就是將連接服務器接入網絡的交換機放在機櫃頂部，如果機櫃中的服務器密度較高且流量較大，則會在每個機櫃都放一個ToR交換機，如果密度和流量都一般，則會考慮幾個機櫃共用一個ToR交換機。ToR交換機下聯服務器網口，上聯匯聚或核心交換機，從而將物理服務器連接到網絡。
EoR全稱叫End of Row，Row指的是“列”，EoR的佈線方式與ToR不同，是在一列機櫃中單獨放置用來連接服務器接入網絡的交換機，這個交換機也叫EoR交換機。雖然 EoR中的“E”指的是“End”，但很多情況下，爲了減少服務器到交換機的佈線長度，一般會將EoR交換機放在一列機櫃的中間，而其它機櫃會預留好網線配線架和光纖配線架，服務器的網口直接連接到配線架上，然後再跳接到EoR交換機上。
ToR佈線的缺點：每個服務器機櫃中可部署的服務器數量是有限制的，所以可能導致機櫃內交換機的接入端口利用率較低。如果幾個服務器機櫃共用1-2臺接入交換機，雖然可解決交換機接入端口利用率低的問題，但這種方式就相當於是小型的EoR方式，增加了線纜管理和維護的工作。
EoR佈線方式的缺點：從服務器機櫃到網絡機櫃的線纜需要提前布放好，包括每個機櫃中有多少臺服務器、每個服務器有多少個網口以及可能會有的網口類型等等，且距離網絡機櫃越遠的服務器機櫃，其佈線線纜越長。同時，爲了機房的整潔，線纜都需要捆紮好，一旦線纜數量與實際數量不匹配或線纜出現故障，就需要重新佈線，因此線纜管理維護工作量大、靈活性差。
3、內部網絡流量的分類
服務器接入到網絡後，根據網絡流量的用途來分類，一般會分爲業務流量、管理流量和存儲流量。
業務流量和存儲流量對用戶來說比較重要，用戶通過業務流量來訪問所需的業務，如果業務數據沒放在服務器本地，而是放在了專業的存儲設備上，那麼服務器訪問存儲設備時就會產生存儲流量。
管理流量主要是用戶用來管理服務器、虛擬機及存儲設備等時產生的流量。現在幾乎每個物理設備都會單獨配一個管理口，如果管理流量和業務流量分開，使用不同的物理線路及接口，這種方式叫帶外管理（out-of-band），如果管理流量和業務流量使用同一物理通道，就叫帶內管理（in-band）。
4、二層，三層交換機的應用
在雲計算數據中心，設計網絡時，會使用高端的三層交換機作爲整個網絡的核心，所有流量所對應網段的默認網關全部設置在上面，這意味着所有跨廣播域相互訪問的流量都會經過該交換機。這樣做的原因有以下幾點：
1 高端三層交換機有很好的轉發性能；
2 高端三層交換機使用模塊化設計，可保證自身的高容錯能力和易擴展性（比如板卡熱插拔）；
3 高端三層交換機可以提供多種接口密度的板卡，滿足數據中心網絡高性能、超大容量的要求。
4 高端三層交換機除了可以提供基本的路由交換功能外，還支持其它更符合雲計算要求的特性，比如大二層、堆疊以及虛擬化等。
所有流量在接入核心交換機前，一般先要接入二層交換機，按照接入流量的類型，接入交換機可以分爲管理交換機、存儲交換機和業務交換機（這適用於超大流量的數據中心），如果只是一般流量的數據中心，可以使用同一個物理交換機並利用VLAN對不同流量進行邏輯隔離。
5、LACP
物理服務器通過自身的物理網卡連接到網絡中，關於物理網卡，有一個很關鍵的知識點——端口（鏈路）聚合。端口聚合通過將多條以太網物理鏈路捆綁在一起成爲一條邏輯鏈路，增加鏈路帶寬的目的，同時相互間的動態備份，可以有效提高鏈路的可靠性。
鏈路聚合技術主要有以下三個優勢：
增加帶寬，鏈路聚合接口的最大帶寬可以達到各成員接口的帶寬之和
提高可靠性，當某條活動鏈路出現故障時，流量可以切換到其它可用的成員鏈路上
負載分擔，在一個鏈路聚合組內，可實現各成員活動鏈路間的負載分擔
根據是否啓用LACP（Link Aggregation Control Protocol，即鏈路聚合控制協議），鏈路聚合分爲手工負載分擔模式和LACP模式：
手工負載分擔模式下，鏈路的創建、成員接口的添加由手工配置，不需要鏈路聚合控制協議的參與。該模式下所有活動鏈路都參與數據的轉發，平均分擔流量，因此稱爲負載分擔模式。如果某條活動鏈路故障，鏈路聚合中的剩餘活動鏈路會自動平均分擔流量。
爲了能夠提高鏈路的容錯性及備份功能，保證成員鏈路的高可靠性，有了鏈路聚合控制協議LACP，LACP模式就是採用LACP的一種鏈路聚合模式。LACP爲交換數據的設備提供了一種標準的協商方式，以供設備根據自身配置自動形成聚合鏈路並啓動聚合鏈路來收發數據。形成聚合鏈路後，LACP負責維護鏈路狀態，在聚合條件發生變化時，自動調整或解散鏈路聚合。
三、虛擬化中的虛擬網絡介紹
1、虛擬網絡的結構
隨着雲計算和虛擬化的越來越普及，成爲目前主流的IT技術，物理服務器不再是業務的承載體，現在，一臺物理服務器內運行了多臺虛擬機，它們會共享一根網線，這樣一來這根網線就會承載多種流量，如何管理這些流量？
另外，以前的交換機的由網絡工程師負責，而服務器內部是由主機工程師負責，而如果牽扯到了虛擬交換機，因爲運行在服務器內部，按照以往的劃分應該是主機工程師負責的，這個時候網絡工程師想管卻管不到，所以，瞭解虛擬化中的網絡結構是必要的。
平時使用的虛擬化大多是這個架構，在個人或者小型的虛擬化中，虛擬機會以橋接或者NAT的方式與物理網卡綁定，而在企業級的大規模場景下，虛擬機都是通過虛擬交換機連接到物理網絡的。
網橋的功能：
1 Mac地址學習，每發送一個數據包，它都會關心對應源MAC地址的數據包是從自己的哪個端口來的，通過學習建立地址-端口的對照表（CAM表）。
2 報文轉發：每發送一個數據包，網橋都會提取它的目的MAC地址，再從地址-端口對照表（CAM表）中查找由哪個端口把數據包發送出去。
有了虛擬化，每個虛擬機都會有一個虛擬網卡，Linux操作系統會在用戶態生成一個TAP設備，同時，在內核態生成一個tun/tap的設備驅動和虛擬網卡驅動。虛擬機發出的數據包經過用戶態的tun/tap字符設備文件，然後經過內核態的tun/tap設備驅動和虛擬網卡驅動，發給TCP/IP協議棧，再轉發到用戶態的虛擬網卡tap，tap此時直接連在網橋Bridge0上，上圖中的eth0和eth1就會變成虛擬機的網卡tap。
VM——tun/tap字符設備文件——tun/tap設備驅動——tun/tap虛擬網卡驅動——TCP/IP協議棧——虛擬網卡tap——網橋Bridge0。
如果僅使用網橋，虛擬機與外部通訊時有兩種方式——橋接和NAT。簡單地說，如果是橋接（使用相同的IP地址配置），網橋就相當於是一個交換機，虛擬網卡連接的是交換機的一個端口；如果是NAT（不同IP地址配置），網橋就相當於是一個路由器，虛擬網卡連接的是路由器的一個端口。
NAT有以下優勢：
1 當物理網橋的網段地址不足時，使用一個新的網段來彌補這個缺陷；
2 隱藏源地址。由於虛擬機在訪問外部網絡時，地址在NAT網關處進行了轉換，所以外部網絡是無法直接看到要訪問的內部虛擬機的IP的，在某種程度可以保護內部虛擬機的安全；
3 負載均衡。NAT有重定向的作用，多個相同應用的虛擬機主備部署後，可以通過NAT轉換成同一個地址與外部通信，然後再通過負載均衡的軟件，進行業務訪問的負載均衡。
2、虛擬交換機產品
橋接和NAT適用於個人及小規模場景，使用網橋無法查看虛擬網卡的狀態，也無法監控經過虛擬網卡的流量，同時，橋接僅支持在GRE隧道，功能受限。另外，目前SDN（Software Define Network，即軟件定義網絡）非常普及，而網橋卻不支持SDN，因此在大規模場景下，我們會使用虛擬交換機來實現虛擬機間的網絡通信。
以開源的Open vSwitch爲例介紹虛擬交換機
Open vSwitch（以下簡寫爲OVS）是一款開源的、高質量的、支持多層協議的虛擬交換機，使用開源 Apache2.0許可協議，由Nicira Networks開發，主要實現代碼爲可移植的C代碼。其目的是使大規模網絡自動化可以通過編程擴展，同時仍然支持標準的管理接口和協議（例如NetFlow， sFlow， SPAN， RSPAN， CLI， LACP， 802.1ag）， Open vSwitch支持多種Linux虛擬化技術，比如Xen和KVM等等。
OVS的數據包轉發流程：
虛擬機產生的數據包先發送到虛擬網卡eth0中；
數據包會首先發送到tun/tap設備上，就是圖中的vnet；
然後再由vnet發送到網橋上
最後經過網橋設備轉發到同樣在網橋上橋接的物理機網卡eth1上，並由eth1將該數據包轉發到物理的二層交換機上。
四、華爲虛擬化產品的網絡特性
虛擬交換機分兩種類型，一種是普通虛擬交換機，一種是分佈式虛擬交換機。
普通虛擬交換機只運行在一臺單獨的物理主機上，所有與網絡相關的配置只適用於此物理服務器上的虛擬機；
分佈式虛擬交換機分佈在不同的物理主機上，通過虛擬化管理工具，可以對分佈式虛擬交換機進行統一地配置。虛擬機能夠進行熱遷移的條件之一就是要有分佈式虛擬交換機。
華爲虛擬化產品使用的虛擬交換機爲分佈式虛擬交換機，以華爲FusionCompute爲例來介紹分佈式虛擬交換機。
1、華爲虛擬化產品中的網絡方案
華爲虛擬交換提供集中的虛擬交換和管理功能。集中管理提供統一的Portal，進行配置管理，從而簡化用戶的管理。 通過分佈在各物理服務器的虛擬交換機，提供虛擬機的二層通信、隔離、QoS能力。
分佈式交換機模型基本特徵：
1） 虛擬化管理員可以配置多個分佈式交換機，每個分佈式交換機可以覆蓋集羣中的多個CNA節點；
2） 每個分佈式交換機具有多個分佈式虛擬端口VSP，每個VSP具有各自的屬性（速率，統計），爲了管理方便採用端口組Port Group來管理具有相同屬性的一組端口，相同端口組的VLAN相同；
3） 虛擬化管理員或業務系統（例如VDI/IDC）可選擇管理/存儲/業務使用的不同物理接口；每個分佈式交換機可以配置一個UpLink端口或者一個Uplink端口聚合組，用於VM對外的通信。Uplink端口聚合組可以包含多個物理端口，端口聚合組可以配置負載均衡策略；
4） 每個VM可以具有多個vNIC接口，vNIC可以與交換機的VSP一一對接；
5） 虛擬化管理員或業務系統可根據業務需求，在一個集羣中選擇允許進行2層遷移的服務器創建虛擬二層網絡，設置該網絡使用的VLAN信息；
端口組：端口組是網絡屬性相同的一組端口的集合。管理員可以通過配置端口組屬性（帶寬QOS、2層安全屬性、VLAN等）來簡化對虛擬機端口屬性的設置。設置端口組屬性，不影響虛擬機正常工作。
上行鏈路: 分佈式交換機關聯的服務器物理網口，管理員可以查詢上行鏈路的名稱、速率、模式、狀態等信息。
上行鏈路聚合: 分佈式交換機關聯的服務器綁定網口，綁定網口可以包含多個物理網口，這些物理網口可以配置主備或負載均衡策略。
華爲分佈式虛擬交換機的特短：
1） 集中的管理：統一的Portal和集中的管理，簡化用戶的管理和配置；
2） 開源Open vSwitch：集成開源Open vSwitch，充分利用和繼承了開源社區虛擬交換的能力；
3） 提供豐富的虛擬交換二層特性，包括交換、QoS、安全隔離等。
2、分佈式交換機流量走向描述
（1）虛擬機運行在相同主機，但是端口組不同
虛擬交換機本質是一臺二層交換機，端口組裏有一個很重要的參數叫VLAN ID，如果兩個虛擬機不在同一端口組，就代表它們不在同一VLAN，所以無法通過廣播找到對方。一般情況下，屬於不同VLAN的虛擬機，我們會給它配不同網段的IP 地址，所以，如果它們之間需要通信就需要使用三層設備，比如三層交換機或路由器，而在華爲虛擬化產品FusionCompute架構中，三層功能只能由物理的三層設備提供，因此，這兩臺虛擬機的訪問流量需要從主機內部傳出到物理的接入交換機，轉發到三層設備經過路由後再進入到主機內部，才能完成通信。
（2）虛擬機運行在相同主機，且端口組相同
屬於同一端口組，則虛擬機屬於同一廣播域，而虛擬交換機支持廣播。所以，如果是同主機相同端口組的虛擬機之間互相通信，可以直接通過虛擬交換機完成，通信的流量不需要傳出到物理網絡中。
（3）虛擬機運行在不同主機，但端口組相同
雖然虛擬機屬於同一端口組，可以通過廣播找到彼此，但是不同的物理服務器需要使用物理交換機才能接入到網絡中，因此，如果虛擬機使用相同端口組，但是運行在不同物理服務器時，流量需要通過物理服務器的網口傳出到物理交換機上，然後才能完成通信。與不同物理服務器不同端口組不一樣，此時兩臺虛擬機之間可以不經過三層設備即可正常通信。
3、安全組
用戶根據虛擬機的安全需求創建安全組，每個安全組可以設定一組訪問規則。當虛擬機加入安全組後，即受到該訪問規則組的保護。用戶通過在創建虛擬機時選擇要加入的安全組來對虛擬機進行安全隔離和訪問控制。
安全組是一個邏輯上的分組，這個分組是由同一個地域內具有相同安全保護需求並相互信任的虛擬機組成。位於同一個安全組的所有虛擬機網卡都將使用該安全組規則進行網絡通信。每塊虛擬機網卡只能加入一個安全組中。
安全組的作用與防火牆類似，在功能上可以參考防火牆，都是使用iptables的包過濾來實現安全控制的。
4、虛擬交換模式
華爲虛擬交換機提供三種虛擬交換模式：1）普通模式；2）SR-IOV直通模式；3）用戶態交換模式。
（1）普通交換
普通模式下，虛擬機有前後端兩個虛擬網卡設備，其中前端網卡連接在虛擬交換機的虛擬端口上。虛擬機的網絡數據包通過環形緩衝區和事件通道在前後端網卡之間傳輸，並最終通過後端網卡連接的虛擬交換機實現轉發。
（2）SR-IOV直通
SR-IOV（Single Root I/O Virtualization）技術是Intel在2007年提出的網絡I/O虛擬化技術，目前已是PCI-SIG的規範。簡單來說，支持SR-IOV的物理網卡可以虛擬出多個虛擬網卡以供虛擬機使用，對於虛擬機來說就像是使用一塊單獨的物理網卡一樣，相比軟件虛擬化提升了網絡I/O性能，相對於硬件直通（PCI Passthrough）又減少了硬件網卡數量上的需求。
（3）用戶態交換
通過對虛擬端口加載用戶態驅動，在vswitchd中啓動線程接管內核態收發包功能，從網卡收到的數據包直接在vswitchd的線程中接收，接收到數據包後，查詢vswitchd中的精確流表匹配，然後執行openflow的動作和指令，把數據從指定端口發送出去。優勢在於使用DPDK技術提升了端口I/O性能。另外，收發包和基於openflow的數據轉發都在用戶態完成，減少了內核態與用戶態間切換帶來的開銷，帶來網絡I/O性能的提升，相較於SR-IOV技術，支持熱遷移、熱添加網卡等更多高級特性。