Linux下多網卡綁定bonding bond6

一、bond簡介:

1.什麼是bonding?

     Linux bonding 驅動提供了一個將多個物理網絡端口捆綁爲單個邏輯網絡端口的方法,用於網絡負載均衡、冗餘和提升網絡的性能,比如對於備份服務器,需要在一個晚上備份幾個T的數據,如果使用單個的千兆網口將會是很嚴重的瓶頸。其它的應用,比如ftp服務器,高負載的下載網站, 都有類似的問題。因此使用bond或Linux teaming來綁定多個網卡作爲一個邏輯網口,配置單個的IP地址,會大幅提升服務器的網絡吞吐(I/O)。
    Linux的多網卡綁定功能使用的是內核中的"bonding"模塊,關於此模塊可以參考Linux Ethernet Bonding Driver文檔, 但是目前發佈各個Linux版本內核均已包含了此模塊,大多數情況下不需要重新編譯內核。 Linux 的 bonding 驅動提供了綁定/集成(bond)多個網卡爲一個虛擬邏輯網口的功能。並請注意綁定的網口(bonded)有多種工作模式; 一般來說,分爲 熱後備(hot standby) 和 負載均衡(load balancing). 在Redhat/Fedora和其它類Redhat Linux中是比較容易配置的。
    目前網卡綁定mode共有七種(0~6)bond0、bond1、bond2、bond3、bond4、bond5、bond6。

2、二、bond的七種模式介紹:

1、mode=0(balance-rr)(平衡掄循環策略)
鏈路負載均衡,增加帶寬,支持容錯,一條鏈路故障會自動切換正常鏈路。交換機需要配置聚合口,思科叫port channel。
特點:傳輸數據包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1….一直循環下去,直到最後一個傳輸完畢),此模式提供負載平衡和容錯能力;但是我們知道如果一個連接
或者會話的數據包從不同的接口發出的話,中途再經過不同的鏈路,在客戶端很有可能會出現數據包無序到達的問題,而無序到達的數據包需要重新要求被髮送,這樣網絡的吞吐量就會下降

2、mode=1(active-backup)(主-備份策略)
這個是主備模式,只有一塊網卡是active,另一塊是備用的standby,所有流量都在active鏈路上處理,交換機配置的是捆綁的話將不能工作,因爲交換機往兩塊網卡發包,有一半包是丟棄的。
特點:只有一個設備處於活動狀態,當一個宕掉另一個馬上由備份轉換爲主設備。mac地址是外部可見得,從外面看來,bond的MAC地址是唯一的,以避免switch(交換機)發生混亂。
此模式只提供了容錯能力;由此可見此算法的優點是可以提供高網絡連接的可用性,但是它的資源利用率較低,只有一個接口處於工作狀態,在有 N 個網絡接口的情況下,資源利用率爲1/N

3、mode=2(balance-xor)(平衡策略)
表示XOR Hash負載分擔,和交換機的聚合強制不協商方式配合。(需要xmit_hash_policy,需要交換機配置port channel)
特點:基於指定的傳輸HASH策略傳輸數據包。缺省的策略是:(源MAC地址 XOR 目標MAC地址) % slave數量。其他的傳輸策略可以通過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力

4、mode=3(broadcast)(廣播策略)
表示所有包從所有網絡接口發出,這個不均衡,只有冗餘機制,但過於浪費資源。此模式適用於金融行業,因爲他們需要高可靠性的網絡,不允許出現任何問題。需要和交換機的聚合強制不協商方式配合。
特點:在每個slave接口上傳輸每個數據包,此模式提供了容錯能力

5、mode=4(802.3ad)(IEEE 802.3ad 動態鏈接聚合)
表示支持802.3ad協議,和交換機的聚合LACP方式配合(需要xmit_hash_policy).標準要求所有設備在聚合操作時,要在同樣的速率和雙工模式,而且,和除了balance-rr模式外的其它bonding負載均衡模式一樣,任何連接都不能使用多於一個接口的帶寬。
特點:創建一個聚合組,它們共享同樣的速率和雙工設定。根據802.3ad規範將多個slave工作在同一個激活的聚合體下。
外出流量的slave選舉是基於傳輸hash策略,該策略可以通過xmit_hash_policy選項從缺省的XOR策略改變到其他策略。需要注意的 是,並不是所有的傳輸策略都是802.3ad適應的,
尤其考慮到在802.3ad標準43.2.4章節提及的包亂序問題。不同的實現可能會有不同的適應 性。
必要條件:
條件1:ethtool支持獲取每個slave的速率和雙工設定
條件2:switch(交換機)支持IEEE 802.3ad Dynamic link aggregation
條件3:大多數switch(交換機)需要經過特定配置才能支持802.3ad模式

6、mode=5(balance-tlb)(適配器傳輸負載均衡)
是根據每個slave的負載情況選擇slave進行發送,接收時使用當前輪到的slave。該模式要求slave接口的網絡設備驅動有某種ethtool支持;而且ARP監控不可用。
特點:不需要任何特別的switch(交換機)支持的通道bonding。在每個slave上根據當前的負載(根據速度計算)分配外出流量。如果正在接受數據的slave出故障了,另一個slave接管失敗的slave的MAC地址。
必要條件:
ethtool支持獲取每個slave的速率

7、mode=6(balance-alb)(適配器適應性負載均衡)
在5的tlb基礎上增加了rlb(接收負載均衡receive load balance).不需要任何switch(交換機)的支持。接收負載均衡是通過ARP協商實現的.
特點:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receive load balance, rlb),而且不需要任何switch(交換機)的支持。接收負載均衡是通過ARP協商實現的。bonding驅動截獲本機發送的ARP應答,並把源硬件地址改寫爲bond中某個slave的唯一硬件地址,從而使得不同的對端使用不同的硬件地址進行通信。
來自服務器端的接收流量也會被均衡。當本機發送ARP請求時,bonding驅動把對端的IP信息從ARP包中複製並保存下來。當ARP應答從對端到達 時,bonding驅動把它的硬件地址提取出來,併發起一個ARP應答給bond中的某個slave。
使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬件地址,因此對端學習到這個硬件地址後,接收流量將會全部流向當前的slave。這個問題可以通過給所有的對端發送更新 (ARP應答)來解決,應答中包含他們獨一無二的硬件地址,從而導致流量重新分佈。
當新的slave加入到bond中時,或者某個未激活的slave重新 激活時,接收流量也要重新分佈。接收的負載被順序地分佈(round robin)在bond中最高速的slave上
當某個鏈路被重新接上,或者一個新的slave加入到bond中,接收流量在所有當前激活的slave中全部重新分配,通過使用指定的MAC地址給每個 client發起ARP應答。下面介紹的updelay參數必須被設置爲某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答 不會被switch(交換機)阻截。
必要條件:
條件1:ethtool支持獲取每個slave的速率;
條件2:底層驅動支持設置某個設備的硬件地址,從而使得總是有個slave(curr_active_slave)使用bond的硬件地址,同時保證每個bond 中的slave都有一個唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址將會被新選出來的 curr_active_slave接管
其實mod=6與mod=0的區別:mod=6,先把eth0流量佔滿,再佔eth1,….ethX;而mod=0的話,會發現2個口的流量都很穩定,基本一樣的帶寬。而mod=6,會發現第一個口流量很高,第2個口只佔了小部分流量。


常用的有三種模式
mode=0:平衡負載模式,有自動備援,但需要”Switch”支援及設定。
mode=1:自動備援模式,其中一條線若斷線,其他線路將會自動備援。
mode=6:平衡負載模式,有自動備援,不必”Switch”支援及設定。
需要說明的是如果想做成mode 0的負載均衡,僅僅設置這裏options bond0 miimon=100 mode=0是不夠的,與網卡相連的交換機必須做特殊配置(這兩個端口應該採取聚合方式),因爲做bonding的這兩塊網卡是使用同一個MAC地址.從原理分析一下(bond運行在mode 0下):mode 0下bond所綁定的網卡的IP都被修改成相同的mac地址,如果這些網卡都被接在同一個交換機,那麼交換機的arp表裏這個mac地址對應的端口就有多 個,那麼交換機接受到發往這個mac地址的包應該往哪個端口轉發呢?正常情況下mac地址是全球唯一的,一個mac地址對應多個端口肯定使交換機迷惑了。所以 mode0下的bond如果連接到交換機,交換機這幾個端口應該採取聚合方式(cisco稱爲 ethernetchannel,foundry稱爲portgroup),因爲交換機做了聚合後,聚合下的幾個端口也被捆綁成一個mac地址.(實測中mode0可以通過mac地址欺騙的方式在交換機不設置的情況下不太均衡地進行接收。

mode5和mode6不需要交換機端的設置,網卡能自動聚合,因爲做bonding的這兩塊網卡是使用不同的MAC地址。mode4需要支持802.3ad。mode0,mode2和mode3理論上需要靜態聚合方式。

三、實操部分

    1、查看bond模塊:
         modprobe -l bond*        或者     modinfo bonding
     2、查看所有網卡:
       [master@uni-cloud ~]$ lspci | grep net
       00:19.0 Ethernet controller: Intel Corporation 82579LM Gigabit Network Connection (rev 05)
       05:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection

   建議關閉NetworkManager:
    $chkconfig NetworkManager off
    $service NetworkManager stop

  3、配置網卡信息:

[master@uni-cloud ~]$ cat /etc/sysconfig/network-scripts/ifcfg-bond0 
DEVICE=bond0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPADDR=101.36.***.***
NETMASK=255.255.255.***
GATEWAY=101.36.***.***
DNS1=114.114.114.114
IPV6INIT=no
USERCTL=no
         
[master@uni-cloud ~]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=0c:c4:7a:06:04:49
TYPE=Ethernet
UUID=14b9c03b-ade6-481f-8ee8-fc881bcd28a4
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPV6INIT=no
USERCTL=no
MASTER=bond0
SLAVE=yes
    
[master@uni-cloud ~]$ cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
HWADDR=0C:C4:7A:06:04:48
TYPE=Ethernet
UUID=d094c5e4-8e55-4465-b4e0-6c3a011f3d29
ONBOOT=no
NM_CONTROLLED=no
BOOTPROTO=none
IPV6INIT=no
USERCTL=no
MASTER=bond0
SLAVE=yes

4、修改modprobe相關設定文件,並加載bonding模塊
[master@uni-cloud ~]$ cat /etc/modprobe.d/bonding.conf 
alias bond0 bonding
options bonding  miimon=100 mode=6

卸載和重新加載bonding模塊,重啓網絡服務:
modprobe -r bonding                                     #bonding已經載入的情況下重新載入需要“-r”選項,比如更換了模式等配置文件內容 (bonding.conf文件裏)則需要通過此命令使新 modprobe  bonding                                        的設置生效。
service network restart

查看bonding模塊狀態:
[mailmaster@uni-cloud ~]$ lsmod | grep bonding
bonding               128245  0 

5、確認bonding模式和狀態:

[master@uni-cloud ~]$ cat /proc/net/bonding/bond0 
Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: adaptive load balancing
Primary Slave: None
Currently Active Slave: eth0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 0c:c4:7a:06:04:49
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 10 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 0c:c4:7a:06:04:48
Slave queue ID: 0

[master@uni-cloud ~]$ ifconfig | grep HWaddr
bond0     Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
eth0      Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
eth1      Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:48  
          inet6 addr: ::1/128 Scope:Host
virbr0    Link encap:Ethernet  HWaddr 52:54:00:56:F3:F3  

[root@master]# ifdown eth0

[root@master]# ifconfig | grep H
bond0     Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
eth1      Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
          inet6 addr: ::1/128 Scope:Host
virbr0    Link encap:Ethernet  HWaddr 52:54:00:56:F3:F3  
    #模式6下bond0會使用eth0或eth1其中某一個網卡的mac地址,如果此mac地址對應的物理網卡down了,則存活的某一網卡繼承此mac地址(這mac地址是虛擬出來的,設備實際的mac地址是唯一且不變的),當然bond0 mac地址也是此值;此外mode0模式下查看會發現bond將所有的網卡mac地址虛擬成相同的mac地址,內容如下:


bond0     Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
eth0      Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
eth1      Link encap:Ethernet  HWaddr 0C:C4:7A:06:04:49  
virbr0    Link encap:Ethernet  HWaddr 52:54:00:56:F3:F3  


6、另外如果eth0和eth1沒寫MASTER和SLAVE,則需要增加開機啓動腳本如下:
在 /etc/rc.d/rc.local里加上
ifenslave bond0 eth0 eth1


除此之外如果需要查看網卡詳細信息可使用 ethtool 工具。



文章部分內容爲編者摘自網絡,如有侵權,請第一時間聯繫我!

擴展連接1:http://blog.csdn.net/youlang2010/article/details/20462301
擴展連接2:http://blog.csdn.net/wuweilong/article/details/39720571
擴張連接3:https://www.cnblogs.com/archoncap/p/6079915.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章