Kilo 使用教程

寫了這麼多篇 WireGuard 相關的保姆教程，今天終於牽扯到 Kubernetes 了，不然怎麼對得起“雲原生”這三個字。如果看到這篇文章的你仍然是個 WireGuard 新手，請務必按照以下順序閱讀每一篇文章：

如果遇到不明白的，可以參考這篇文章的註解：

WireGuard 教程：WireGuard 的搭建使用與配置詳解

剩下這幾篇文章是可選的，有興趣就看看：

WireGuard 在雲原生領域的應用有兩個方面：組網和加密。不管是組網還是加密，其實都是和 CNI 有關，你可以在原有的組網方案上利用 WireGuard 進行加密，也可以直接利用 WireGuard 來進行組網。目前直接利用 WireGuard 進行組網的 CNI 有 Flannel、Wormhole 和 Kilo，只利用 WireGuard 進行數據加密的 CNI 只有 Calico，當然 Flannel 也可以和 Kilo 結合使用，這樣就只利用 WireGuard 來進行加密了。

我的興趣點還是在於利用 WireGuard 組網，想象一下，你在 AWS、Azure、GCP 和阿里雲上分別薅了一臺雲主機，你想將這四臺雲主機組建成一個 k3s 集羣，而且在任何一個設備上都能直接訪問這個 k3s 集羣中的 Pod IP 和 Service IP，如何才能優雅地實現這個目標？

要分兩步走：第一步是打通 k3s 集羣各個節點之間的容器網絡，最後一步是打通本地與雲上容器之間的網絡。先來看第一步，跨雲打通容器網絡，這一步主要還是得仰仗 CNI。Flannel 的自定義選項比較少，Whormhole 已經很久沒更新了，推薦使用 Kilo 來作爲 k3s 的 CNI。

在部署 Kilo 之前，需要調整 k3s 的啓動參數，取消默認的 CNI：

k3s server --flannel-backend none ...

然後重啓 k3s server：

$ systemctl restart k3s

具體可以參考 k3s 控制平面的部署。如果你是從零開始部署 k3s，請參考跨雲廠商部署 k3s 集羣。

1. Kilo 網絡拓撲

Kilo 支持以下三種網絡拓撲：

邏輯分組互聯模式（Logical Groups）

默認情況下，Kilo 會在集羣中的不同邏輯區域（例如數據中心、雲服務商等）之間創建一個 mesh 網絡。Kilo 默認會嘗試使用節點標籤 topology.kubernetes.io/region 來判斷節點所在的邏輯區域，你也可以通過 Kilo 的啓動參數 --topology-label=<label> 來指定邏輯區域的標籤，還可以爲 node 添加 annotation kilo.squat.ai/location 來指定邏輯區域的標籤。

例如，爲了將 GCP 和 AWS 的節點加入到同一個 k3s 集羣中，可以通過以下命令對所有 GCP 的節點添加註釋：

$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done

這樣所有添加了註釋的節點都會被劃分到同一個邏輯區域下，沒有添加註釋的節點會被劃分到默認的邏輯區域下，所以總共有兩個邏輯區域。每個邏輯區域都會選出一個 leader 和其他區域的 leader 之間建立 WireGuard 隧道，同時區域內部的節點之間通過 Bridge 模式打通容器的網絡。

通過 kgctl 可以獲取網絡拓撲架構圖：

$ kgctl graph | circo -Tsvg > cluster.svg

全互聯模式（Full Mesh）

全互聯模式其實就是邏輯分組互聯模式的特例，即每一個節點都是一個邏輯區域，每個節點和其他所有節點都建立 WireGuard 隧道。關於全互聯模式的更多詳細內容請參考 Wireguard 全互聯模式（full mesh）配置指南。可以通過 Kilo 的啓動參數 --mesh-granularity=full 來指定全互聯模式。

通過 kgctl 可以獲取網絡拓撲架構圖：

$ kgctl graph | circo -Tsvg > cluster.svg

混合模式

混合模式就是邏輯分組模式和全互聯模式相結合，例如，如果集羣中既有 GCP 的節點，還有一些無安全私有網段的裸金屬節點，可以把 GCP 的節點放到同一個邏輯區域中，其他裸金屬節點之間直接使用全互聯模式連接，這就是混合模式。具體的操作方式是給 GCP 節點添加同一個 annotation，其他裸金屬節點都添加相互獨立的 annotation：

$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done
$ for node in $(kubectl get nodes | tail -n +2 | grep -v gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="$node"; done

通過 kgctl 獲取網絡拓撲架構圖：

$ kgctl graph | circo -Tsvg > cluster.svg

如果集羣中還包含 AWS 節點，可以這麼添加 annotation：

$ for node in $(kubectl get nodes | grep -i aws | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="aws"; done
$ for node in $(kubectl get nodes | grep -i gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="gcp"; done
$ for node in $(kubectl get nodes | tail -n +2 | grep -v aws | grep -v gcp | awk '{print $1}'); do kubectl annotate node $node kilo.squat.ai/location="$node"; done

網絡拓撲架構圖如下：

2. Kilo 部署

如果你用的是國內的雲主機，一般都綁定了 IP 地址和 MAC 地址，也無法關閉源地址檢測，無法使用 Bridge 模式，也就無法使用 Kilo 的邏輯分組互聯模式，只能使用全互聯模式。如果集羣中還包含了數據中心，數據中心的節點之間是可以使用 Bridge 模式的，可以給數據中心的節點添加相同的 annotation，其他節點添加各不相同的 annotation。

我的節點都是國內公有云節點，無法使用邏輯分組互聯模式，只能使用全互聯模式。本節就以全互聯模式爲例，演示如何部署 Kilo。

Kilo 需要用到 kubeconfig，所以需要提前將 kubeconfig 文件從 Master 拷貝到所有 Node：

$ scp -r /etc/rancher/k3s/ nodexxx:/etc/rancher/k3s/

修改 kubeconfig 文件，將 API Server 的地址改爲 Master 的公網地址：

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: *******
    server: https://<MASTER_PUBLIC_IP>:6443
  name: default
...
...

給每個節點添加相關的 annotaion：

# 指定 WireGuard 建立隧道的 Endpoint 公網 IP:Port
$ kubectl annotate nodes xxx kilo.squat.ai/force-endpoint=<Public_IP:Port>

# 指定節點的內網 IP，WireGuard 會將其添加到 allowed ips 中，這樣可以打通各個節點的內網 IP
$ kubectl annotate nodes xxx kilo.squat.ai/force-internal-ip=<Private_IP>

克隆 Kilo 的官方倉庫，進入部署清單目錄：

$ git clone https://github.com/squat/kilo
$ cd kilo/manifests

修改 kilo 部署清單，調整啓動參數：

...
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kilo
  namespace: kube-system
  labels:
    app.kubernetes.io/name: kilo
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: kilo
  template:
    metadata:
      labels:
        app.kubernetes.io/name: kilo
    spec:
      serviceAccountName: kilo
      hostNetwork: true
      containers:
      - name: kilo
        image: squat/kilo
        args:
        - --kubeconfig=/etc/kubernetes/kubeconfig
        - --hostname=$(NODE_NAME)
+       - --encapsulate=never
+       - --mesh-granularity=full
...
...

--encapsulate=never 表示不使用 ipip 協議對同一個邏輯區域內的容器網絡流量進行加密。
--mesh-granularity=full 表示啓用全互聯模式。

使用部署清單部署 kilo：

$ kubectl apply -f kilo-k3s.yaml

部署成功後，每臺節點會增加兩個網絡接口：

14: kilo0: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1420 qdisc noqueue state UNKNOWN group default qlen 1000
    link/none
    inet 10.4.0.1/16 brd 10.4.255.255 scope global kilo0
       valid_lft forever preferred_lft forever
6: kube-bridge: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 qdisc noqueue state UP group default qlen 1000
    link/ether 2a:7d:32:71:75:97 brd ff:ff:ff:ff:ff:ff
    inet 10.42.0.1/24 scope global kube-bridge
       valid_lft forever preferred_lft forever
    inet6 fe80::287d:32ff:fe71:7597/64 scope link
       valid_lft forever preferred_lft forever

其中 kilo0 是 WireGuard 虛擬網絡接口：

$ ip -d link show kilo0
14: kilo0: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1420 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/none  promiscuity 0
    wireguard addrgenmode none numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535
    
$ wg show kilo0
interface: kilo0
  public key: VLAjOkfb1U3/ftNOVtAjY8P3hafR12qQB05ueUJtLBQ=
  private key: (hidden)
  listening port: 51820
  
peer: JznFuu9Q7gXcfHFGRLB/LirKi8ttSX22T5f+1cWomzA=
  endpoint: xxxx:51820
  allowed ips: 10.42.1.0/24, 192.168.20.1/32, 10.4.0.2/32
  latest handshake: 51 seconds ago
  transfer: 88.91 MiB received, 76.11 MiB sent

peer: gOvNh1FHJKtfigxV1Az5OFCq2WMq3YEn2F4H4xknVFI=
  endpoint: xxxx:51820
  allowed ips: 10.42.2.0/24, 192.168.30.1/32, 10.4.0.3/32
  latest handshake: 17 seconds ago
  transfer: 40.86 MiB received, 733.03 MiB sent
...
...

kube-bridge 是本地容器網絡 veth pair 所連接的 Bridge：

$ bridge link show kube-bridge
7: veth99d2f30b state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
8: vethfb6d487c state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
10: veth88ae725c state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
11: veth4c0d00d8 state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
12: veth5ae51319 state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
13: vethe5796697 state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
15: vethe169cdda state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2
21: vethfe78e116 state UP @wg0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1420 master kube-bridge state forwarding priority 32 cost 2

至此 Kilo 的全互聯模式就部署好了，跨公有云的各個雲主機節點上的容器已經可以相互通信，下一步就是打通本地與雲上容器之間的網絡。

3. 打通本地與雲上容器網絡

爲了便於理解，先來做個假設，假設有 4 個公有云節點，分別是 AWS、Azure、GCP、阿里雲，再假設 Service 的子網是 10.43.0.0/16，Pod 的子網是 10.42.0.0/16，那麼每臺節點的 Pod 子網分別爲 10.42.0.0/24、10.42.1.0/24、10.42.2.0/24、10.42.3.0/24。

爲了和 Kubernetes 集羣網絡分開，需要使用一個新的網絡接口 wg0，網絡架構還是建議使用全互聯模式，具體可參考 Wireguard 全互聯模式（full mesh）配置指南。

爲了讓本地客戶端能訪問雲上的 Pod IP，可以讓本地訪問 AWS 節點的 10.42.0.0/24，訪問 Azure 節點的 10.42.1.0/24，以此類推。當然也可以直接讓本地訪問任意一個雲上節點的 10.42.0.0/16，不過我還是不建議使用這種架構。

至於 Service IP，並沒有像 Pod 一樣給每個節點劃分一個更細粒度的子網，所有的節點都從同一個大的子網中分配，所以無法採用上面的方式，只能選擇其中一個節點來集中轉發本地客戶端訪問 Service 的流量，假設選擇 AWS 的節點。

還是和之前一樣，繼續使用 wg-gen-web 來管理 WireGuard 的配置，假設使用 AWS 的節點來安裝 wg-gen-web。

這裏有一個地方需要注意，kilo0 已經打通了 k3s 各個節點的私有網段，所以 wg0 不再需要打通私有網段，將 k3s 各個節點的私有網段刪除即可：

先增加一個新配置給本地客戶端使用，Allowed IPs 中新增 10.42.0.0/24 和 10.43.0.0/16，讓本地客戶端能訪問 AWS 節點中的 Pod IP 和整個集羣的 Service IP：

這時你會發現 AWS 節點中的 wg0.conf 中已經包含了本地客戶端的配置：

$ cat /etc/wireguard/wg0.conf

...
# macOS /  / Updated: 2021-03-01 05:52:20.355083356 +0000 UTC / Created: 2021-03-01 05:52:20.355083356 +0000 UTC
[Peer]
PublicKey = CEN+s+jpMX1qzQRwbfkfYtHoJ+Hqq4APfISUkxmQ0hQ=
PresharedKey = pSAxmHb6xXRMl9667pFMLg/1cRBFDRjcVdD7PKtMP1M=
AllowedIPs = 10.0.0.5/32
...

修改 Azure 節點的 WireGuard 配置文件，添加本地客戶端的配置：

$ cat Azure.conf

[Interface]
Address = 10.0.0.2/32
PrivateKey = IFhAyIWY7sZmabsqDDESj9fqoniE/uZFNIvAfYHjN2o=

PostUp = iptables -I FORWARD -i wg0 -j ACCEPT; iptables -I FORWARD -o wg0 -j ACCEPT; iptables -I INPUT -i wg0 -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i wg0 -j ACCEPT; iptables -D FORWARD -o wg0 -j ACCEPT; iptables -D INPUT -i wg0 -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE


[Peer]
PublicKey = JgvmQFmhUtUoS3xFMFwEgP3L1Wnd8hJc3laJ90Gwzko=
PresharedKey = 1SyJuVp16Puh8Spyl81EgD9PJZGoTLJ2mOccs2UWDvs=
AllowedIPs = 10.0.0.1/32
Endpoint = aws.com:51820

# Aliyun /  / Updated: 2021-02-24 07:57:45.941019829 +0000 UTC / Created: 2021-02-24 07:57:45.941019829 +0000 UTC
[Peer]
PublicKey = kVq2ATMTckCKEJFF4TM3QYibxzlh+b9CV4GZ4meQYAo=
AllowedIPs = 10.0.0.4/32
Endpoint = aliyun.com:51820

# GCP /  / Updated: 2021-02-24 07:57:27.3555646 +0000 UTC / Created: 2021-02-24 07:57:27.3555646 +0000 UTC
[Peer]
PublicKey = qn0Xfyzs6bLKgKcfXwcSt91DUxSbtATDIfe4xwsnsGg=
AllowedIPs = 10.0.0.3/32
Endpoint = gcp.com:51820

# macOS /  / Updated: 2021-03-01 05:52:20.355083356 +0000 UTC / Created: 2021-03-01 05:52:20.355083356 +0000 UTC
[Peer]
PublicKey = CEN+s+jpMX1qzQRwbfkfYtHoJ+Hqq4APfISUkxmQ0hQ=
AllowedIPs = 10.0.0.5/32

同理，GCP 和 Aliyun 節點也要添加新增的本地客戶端配置。

下載本地客戶端的配置文件：

將 AWS 節點的 wg0.conf 中的 Aliyun、GCP 和 Azure 的配置拷貝到本地客戶端的配置中，並刪除 PresharedKey 的配置，再添加 Endpoint 的配置和相應的 Pod IP 所在的網段：

[Interface]
Address = 10.0.0.5/32
PrivateKey = wD595KeTPKBDneKWOTUjJQjxZ5RrlxsbeEsWL0gbyn8=


[Peer]
PublicKey = JgvmQFmhUtUoS3xFMFwEgP3L1Wnd8hJc3laJ90Gwzko=
PresharedKey = 5htJA/UoIulrgAn9tDdUxt1WYmOriCXIujBVVaz/uZI=
AllowedIPs = 10.0.0.1/32, 10.42.0.0/24, 10.43.0.0/16
Endpoint = aws.com:51820

# Aliyun /  / Updated: 2021-02-24 07:57:45.941019829 +0000 UTC / Created: 2021-02-24 07:57:45.941019829 +0000 UTC
[Peer]
PublicKey = kVq2ATMTckCKEJFF4TM3QYibxzlh+b9CV4GZ4meQYAo=
AllowedIPs = 10.0.0.4/32, 10.42.3.0/24
Endpoint = aliyun.com:51820

# GCP /  / Updated: 2021-02-24 07:57:27.3555646 +0000 UTC / Created: 2021-02-24 07:57:27.3555646 +0000 UTC
[Peer]
PublicKey = qn0Xfyzs6bLKgKcfXwcSt91DUxSbtATDIfe4xwsnsGg=
AllowedIPs = 10.0.0.3/32, 10.42.2.0/24
Endpoint = gcp.com:51820


# Azure /  / Updated: 2021-02-24 07:57:00.751653134 +0000 UTC / Created: 2021-02-24 07:43:52.717385042 +0000 UTC
[Peer]
PublicKey = OzdH42suuOpVY5wxPrxM+rEAyEPFg2eL0ZI29N7eSTY=
AllowedIPs = 10.0.0.2/32, 10.42.1.0/24
Endpoint = azure.com:51820

最後在本地把 WireGuard 跑起來，就可以暢遊雲主機的 Kubernetes 集羣了。

如果你還想更進一步，在任何一個設備上都能通過 Service 的名稱來訪問 k3s 集羣中的服務，就得在 CoreDNS 上做文章了，感興趣的可以自己研究下。

這個坑總算填完了，WireGuard 系列暫時就告一段落了，後面如果發現了更有趣的玩法，我會第一時間給大家分享出來。

1. Kilo 網絡拓撲

邏輯分組互聯模式（Logical Groups）

全互聯模式（Full Mesh）

混合模式

2. Kilo 部署

3. 打通本地與雲上容器網絡

.NET開源強大、易於使用的緩存框架 - FusionCache

面試，有時候是個運氣活

MFC擴展庫BCGControlBar Pro v34.1 - 儀表盤、對話框組件升級

界面組件庫DevExpress Office File API（WinForms & WPF）v24.1新功能預覽

Pinecone: 大模型時代的智能索引與搜索解決方案

千帆杯AI原生應用創意挑戰賽-效率工具常規賽重磅上線！

百度智能雲千帆AppBuilder重磅升級！工作流編排正式上線！AssistantsAPI開放邀測！

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結