網絡虛擬化技術（一）: Linux網絡虛擬化

From:https://blog.kghost.info/2013/03/01/linux-network-emulator/

筆者現在在做雲計算的網絡設計，涉及到上百臺服務器與交換機，在實測前必須進行原型測試，但是我只有一個工作用開發機，本文介紹一種方法，使用這一臺機器模擬數十臺服務器以及路由器的網絡環境。

Linux的網絡虛擬化是LXC項目中的一個子項目，LXC包括文件系統虛擬化，進程空間虛擬化，用戶虛擬化，網絡虛擬化，等等 [1]，這裏使用LXC的網絡虛擬化來模擬多個網絡環境。

創建虛擬網絡環境

使用命令

$ ip netns add net0

可以創建一個完全隔離的新網絡環境，這個環境包括一個獨立的網卡空間，路由表，ARP表，ip地址表，iptables，ebtables，等等。總之，與網絡有關的組件都是獨立的。

ip命令需要root權限的，但是由於本文大量使用ip命令，於是筆者給ip命令添加了capability，使普通用戶也能使用ip命令

使用命令

$ ip netns list
net0

可以看到我們剛纔創建的網絡環境

進入虛擬網絡環境

使用命令

$ ip netns exec net0 `command`

我們可以在 net0 虛擬環境中運行任何命令

$ ip netns exec net0 bash
$ ip ad
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

這樣我們可以在新的網絡環境中打開一個shell，可以看到，新的網絡環境裏面只有一個lo設備，並且這個lo設備與外面的lo設備是不同的，之間不能互相通訊。

連接兩個網絡環境

新的網絡環境裏面沒有任何網絡設備，並且也無法和外部通訊，就是一個孤島，通過下面介紹的這個方法可以把兩個網絡環境連起來，簡單的說，就是在兩個網絡環境之間拉一根網線

$ ip netns add net1

先創建另一個網絡環境net1，我們的目標是把net0與net1連起來

$ ip link add type veth
$ ip ad
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
81: veth0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 12:39:09:81:3a:dd brd ff:ff:ff:ff:ff:ff
82: veth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 32:4f:fd:cc:79:1b brd ff:ff:ff:ff:ff:ff

這裏創建連一對veth虛擬網卡，類似pipe，發給veth0的數據包veth1那邊會收到，發給veth1的數據包veth0會收到。就相當於給機器安裝了兩個網卡，並且之間用網線連接起來了

$ ip link set veth0 netns net0
$ ip link set veth1 netns net1

這兩條命令的意思就是把veth0移動到net0環境裏面，把veth1移動到net1環境裏面，我們看看結果

$ ip ad
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
$ ip netns exec net0 ip ad
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
81: veth0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 12:39:09:81:3a:dd brd ff:ff:ff:ff:ff:ff
$ ip netns exec net1 ip ad
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
82: veth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 32:4f:fd:cc:79:1b brd ff:ff:ff:ff:ff:ff

veth0 veth1已經在我們的環境裏面消失了，並且分別出現在net0與net1裏面。下面我們簡單測試一下net0與net1的聯通性

$ ip netns exec net0 ip link set veth0 up
$ ip netns exec net0 ip address add 10.0.1.1/24 dev veth0
$ ip netns exec net1 ip link set veth1 up
$ ip netns exec net1 ip address add 10.0.1.2/24 dev veth1

分別配置好兩個設備，然後用ping測試一下聯通性：

$ ip netns exec net0 ping -c 3 10.0.1.2
PING 10.0.1.2 (10.0.1.2) 56(84) bytes of data.
64 bytes from 10.0.1.2: icmp_req=1 ttl=64 time=0.101 ms
64 bytes from 10.0.1.2: icmp_req=2 ttl=64 time=0.057 ms
64 bytes from 10.0.1.2: icmp_req=3 ttl=64 time=0.048 ms

--- 10.0.1.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 1999ms
rtt min/avg/max/mdev = 0.048/0.068/0.101/0.025 ms

一個稍微複雜的網絡環境

創建虛擬網絡環境並且連接網線

ip netns add net0
ip netns add net1
ip netns add bridge
ip link add type veth
ip link set dev veth0 name net0-bridge netns net0
ip link set dev veth1 name bridge-net0 netns bridge
ip link add type veth
ip link set dev veth0 name net1-bridge netns net1
ip link set dev veth1 name bridge-net1 netns bridge

在bridge中創建並且設置br設備

ip netns exec bridge brctl addbr br
ip netns exec bridge ip link set dev br up
ip netns exec bridge ip link set dev bridge-net0 up
ip netns exec bridge ip link set dev bridge-net1 up
ip netns exec bridge brctl addif br bridge-net0
ip netns exec bridge brctl addif br bridge-net1

然後配置兩個虛擬環境的網卡

ip netns exec net0 ip link set dev net0-bridge up
ip netns exec net0 ip address add 10.0.1.1/24 dev net0-bridge

ip netns exec net1 ip link set dev net1-bridge up
ip netns exec net1 ip address add 10.0.1.2/24 dev net1-bridge

測試

$ ip netns exec net0 ping -c 3 10.0.1.2
PING 10.0.1.2 (10.0.1.2) 56(84) bytes of data.
64 bytes from 10.0.1.2: icmp_req=1 ttl=64 time=0.121 ms
64 bytes from 10.0.1.2: icmp_req=2 ttl=64 time=0.072 ms
64 bytes from 10.0.1.2: icmp_req=3 ttl=64 time=0.069 ms

--- 10.0.1.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 1999ms
rtt min/avg/max/mdev = 0.069/0.087/0.121/0.025 ms

配置lldpd檢查線路鏈接情況

隨着虛擬網絡環境增加，環境中網卡數量也在不斷增加，經常會忘記環境中哪些網卡連接到哪裏，通過 lldp [2]協議，我們可以清楚看到每個網卡連接到了哪些環境中的哪個網卡。

github 上有一個 lldp 在 linux 下的開源實現 [3]，通過在每個環境中起一個 lldp daemon，我們就可以實時查看每個網卡的連接情況

Bridge 上 lldp 的數據

$ lldpcli show neighbors

LLDP neighbors:

Interface:    bridge-net0, via: LLDP, RID: 2, Time: 0 day, 00:06:53
  Chassis:
    ChassisID:    mac 82:be:2a:ec:70:69
    SysName:      localhost
    SysDescr:     net0
    Capability:   Bridge, off
    Capability:   Router, off
    Capability:   Wlan, off
  Port:
    PortID:       mac 82:be:2a:ec:70:69
    PortDescr:    net0-bridge

Interface:    bridge-net1, via: LLDP, RID: 1, Time: 0 day, 00:06:53
  Chassis:
    ChassisID:    mac b2:34:28:b1:be:49
    SysName:      localhost
    SysDescr:     net1
    Capability:   Bridge, off
    Capability:   Router, off
    Capability:   Wlan, off
  Port:
    PortID:       mac b2:34:28:b1:be:49
    PortDescr:    net1-bridge

1. LXC內核命門空間

2. Link Layer Discovery Protocol

3. implementation of IEEE 802.1ab (LLDP)