Flannel 是CNI陣營裏標準的網絡插件，在沒有嚴格的網絡的要求下，它通常作爲kubernetes集羣裏網絡互聯比較常用的方案，當然還有其他網絡方案，比如calico，weave，mxvlan等等，這裏主要使用到flannel作爲kubernetes的網絡方案；
1 部署準備
kubernetes 要求集羣內各節點(包括 master 節點)能通過 Pod 網段互聯互通。flannel 使用 vxlan 技術爲各節點創建一個可以互通的 Pod 網絡，使用的端口爲 UDP 8472（需要開放該端口，如公有云 AWS 等）。
flanneld 第一次啓動時，從 etcd 獲取配置的 Pod 網段信息，爲本節點分配一個未使用的地址段，然後創建 flannedl.1 網絡接口（也可能是其它名稱，如 flannel1 等）。
flannel 將分配給自己的 Pod 網段信息寫入 /run/flannel/docker 文件，docker 後續使用這個文件中的環境變量設置 docker0 網橋，從而從這個地址段爲本節點的所有 Pod 容器分配 IP。
環境變量定義
#################### Variable parameter setting ######################
FLANNEL_INSTALL_PATH=/data/apps/k8s/networks/flannel
SOFTWARE=/root/software
VERSION=v0.11.0
PACKAGE=flannel-${VERSION}-linux-amd64.tar.gz
DOWNLOAD_URL=https://github.com/devops-apps/download/raw/master/network/$PACKAGE
FLANNEL_ETCD_ENPOINTS=https://10.10.10.22:2379,https://10.10.10.23:2379,https://10.10.10.24:2379
FLANNEL_ETCD_PREFIX=/k8s/network
CA_DIR=/etc/k8s/ssl
NETWORK_SUBNET=172.16.0.0/20
IFACE=eth0 1.2 下載和分發 kubernetes 二進制文件
登陸devops機器，訪問flannel github 官方地址下載穩定的 realease 包至本機；
wget $DOWNLOAD_URL -P $SOFTWARE將flannel 軟件包分發到集羣所有節點服務器；
sudo ansible master_k8s_vgs -m copy -a "src=${SOFTWARE}/$PACKAGE dest=${SOFTWARE}/" -b
sudo ansible worker_k8s_vgs -m copy -a "src=${SOFTWARE}/$PACKAGE dest=${SOFTWARE}/" -b2 安裝flannel網絡插件
2.1 安裝flannel二進制文件
### 1.Check if the install directory exists.
if [ ! -d $FLANNEL_INSTALL_PATH/bin ]; then
mkdir -p $FLANNEL_INSTALL_PATH/bin
fi
### 2.Install binary of flannel.
if [ ! -f "$SOFTWARE/flannel-${VERSION}-linux-amd64.tar.gz" ]; then
wget $DOWNLOAD_URL -P $SOFTWARE >>/tmp/install.log 2>&1
fi
cd $SOFTWARE && tar -xzf flannel-${VERSION}-linux-amd64.tar.gz -C ./
cp -fp ${SOFTWARE}/{flanneld,mk-docker-opts.sh} ${FLANNEL_INSTALL_PATH}/bin
ln -sf ${FLANNEL_INSTALL_PATH}/bin/{flanneld,mk-docker-opts.sh} /usr/local/bin
chmod -R 755 $FLANNEL_INSTALL_PATH2.3 分發 證書文件
cd ${CA_DIR}
sudo ansible master_k8s_vgs -m copy -a "src=ca.pem dest=${CA_DIR}/" -b
sudo ansible master_k8s_vgs -m copy -a "src=flannel.pem dest=${CA_DIR}/" -b
sudo ansible master_k8s_vgs -m copy -a "src=flannel-key.pem dest=${CA_DIR}/" -b- flannel開啓了HTTPS訪問所以需要證書支持；
- flannel不需要訪問apiserver，因此不需kubeconfig文件認證；
2.4 向 etcd 寫入集羣 Pod 網段信息
### Create network subnet of flannel .
etcdctl --endpoint=$FLANNEL_ETCD_ENPOINTS \
--ca-file=${CA_DIR}/ca.pem \
--cert-file=${CA_DIR}/etcd.pem \
--key-file=${CA_DIR}/etcd-key.pem \
mkdir $FLANNEL_ETCD_PREFIX
etcdctl --endpoints=$FLANNEL_ETCD_ENPOINTS \
--ca-file=${CA_DIR}/ca.pem \
--cert-file=${CA_DIR}/etcd.pem \
--key-file=${CA_DIR}/etcd-key.pem \
mk ${FLANNEL_ETCD_PREFIX}/config \
'{"Network":"'${NETWORK_SUBNET}'","SubnetLen":24,"Backend":{"Type":"$TYPE"}}'- flanneld 當前版本 (v0.11.0) 不支持 etcd v3，故使用 etcd v2 API 寫入配置 key 和網段數據；
- 寫入的 Pod 網段 ${CLUSTER_CIDR} 地址段（如 /16）必須小於 SubnetLen，必須與 kube-controller-manager 的 --cluster-cidr 參數值一致；
2.5 創建flannel 啓動服務
cat >/usr/lib/systemd/system/flanneld.service<<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
After=etcd.service
Before=docker.service
[Service]
Type=notify
ExecStart=${FLANNEL_INSTALL_PATH}/bin/flanneld \\
-etcd-cafile=${CA_DIR}/ca.pem \\
-etcd-certfile=${CA_DIR}/flannel.pem \\
-etcd-keyfile=${CA_DIR}/flannel-key.pem \\
-etcd-endpoints=${FLANNEL_ETCD_ENPOINTS} \\
-etcd-prefix=${FLANNEL_ETCD_PREFIX} \\
-iface=${IFACE} \\
-ip-masq
ExecStartPost=${FLANNEL_INSTALL_PATH}/bin/mk-docker-opts.sh \\
-k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker
Restart=always
RestartSec=5
StartLimitInterval=0
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service
EOF- mk-docker-opts.sh 腳本將分配給 flanneld 的 Pod 子網段信息寫入 /run/flannel/docker 文件，後續 docker 啓動時使用這個文件中的環境變量配置 docker0 網橋；
- flanneld 使用系統缺省路由所在的接口與其它節點通信，對於有多個網絡接口（如內網和公網）的節點，可以用 -iface 參數指定通信接口;
- flanneld 運行時需要 root 權限；
- -ip-masq: flanneld 爲訪問 Pod 網絡外的流量設置 SNAT 規則，同時將傳遞給 Docker 的變量 --ip-masq（/run/flannel/docker 文件中）設置爲 false，這樣 Docker 將不再創建 SNAT 規則； Docker 的 --ip-masq 爲 true 時，創建的 SNAT 規則比較“暴力”：將所有本節點 Pod 發起的、訪問非 docker0 接口的請求做 SNAT，這樣訪問其他節點 Pod 的請求來源 IP 會被設置爲 flannel.1 接口的 IP，導致目的 Pod 看不到真實的來源 Pod IP。 flanneld 創建的 SNAT 規則比較溫和，只對訪問非 Pod 網段的請求做 SNAT。
2.6 啓動flannel服務並檢查運行狀態
啓動flannel服務並檢查
sudo systemctl start flanneld
sudo systemctl status flanneld |grep 'Active:'確保狀態爲 active (running)，否則查看日誌，確認原因：
sudo journalctl -u flanneld 2.7 檢查分配給各 flanneld 的 Pod 網段信息
查看集羣 Pod 網段(/20)：
### Create network subnet of flannel .
etcdctl --endpoint=$FLANNEL_ETCD_ENPOINTS \
--ca-file=${CA_DIR}/ca.pem \
--cert-file=${CA_DIR}/etcd.pem \
--key-file=${CA_DIR}/etcd-key.pem \
get ${FLANNEL_ETCD_PREFIX}/config輸出：
{"Network":"172.20.0.0/20", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}查看已分配的 Pod 子網段列表(/24):
etcdctl --endpoints=$FLANNEL_ETCD_ENPOINTS \
--ca-file=${CA_DIR}/ca.pem \
--cert-file=${CA_DIR}/etcd.pem \
--key-file=${CA_DIR}/etcd-key.pem \
ls ${FLANNEL_ETCD_PREFIX}/subnets輸出（結果視部署情況而定）：
/k8s/network/subnetes/172.20.1.0-24
/k8s/network/subnetes/172.20.2.0-24
/k8s/network/subnetes/172.20.3.0-24查看某一 Pod 網段對應的節點 IP 和 flannel 接口地址:
etcdctl --endpoints=$FLANNEL_ETCD_ENPOINTS \
--ca-file=${CA_DIR}/ca.pem \
--cert-file=${CA_DIR}/etcd.pem \
--key-file=${CA_DIR}/etcd-key.pem \
ls ${FLANNEL_ETCD_PREFIX}/subnets輸出（結果視部署情況而定）：{"PublicIP":"172.27.137.240","BackendType":"vxlan","BackendData":{"VtepMAC":"ce:9c:a9:08:50:03"}}