K8s 網絡插件支持exec , CNI,kubenet 3種類型。要求插件滿足K8s網絡插件接口即可。
type NetworkPlugin interface{
Init(host Host, hairpinModecomponentconfig.HairpinMode) error
Event(name string,details map[string]interface{})
Name() string
Capabilities() utilsets.Int
SetUpPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error
TearDownPod(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) error
GetPodNetworkStatus(namespace string, name string,podInfraContainerID kubecontainer.ContainerID) (*PodNetworkStatus,error)
Status() error
}
這裏介紹下簡單的exec插件類型
Exec 類型插件會分別在初始化,pod創建,銷燬,查詢時調用可執行程序,由可執行程序完成pod的網絡管理。
在初始化,pod創建,銷燬,查詢時,分別調用的subcommand 分別爲 "init","setup""teardown","status",所以要求可執行程序能解析上述subcommand 。
這裏以一個簡單的k8s 插件爲例子,介紹如何實現exec 類型的網絡插件。
需求場景如下:要求k8s創建pod 時,在pod內還會創建一個網絡接口,該接口IP固定,該接口的另一端veth在ovs 網橋上,且有vlan tag,改tag 號可從pod name 取出。
該插件代碼見
https://github.com/liuliuzi/k8s-netplugin/tree/master/exec
更改權限爲可執行
同時下載
https://github.com/jpetazzo/pipework,更改pipework 權限爲可執行,並移動到系統PATH路徑下。
在每臺worknode修改kebelet 啓動參數,添加網絡插件參數
--network-plugin=myplugin \插件名
--network-plugin-dir=/root/kubplugin \插件位置
在每臺worknode 下載安裝OVS
在k8s上創建pod
kubectl run 22-my-nginx --image=busybox --replicas=2
然後
ovs-vsctl show
77a11ec3-545a-42cc-bc7a-e3f54ff0c63b
Bridge"k8s_br"
Port"k8s_br"
Interface"k8s_br"
type:internal
Port"veth1pl29198"
tag: 22
Interface"veth1pl29198"
ovs_version:"2.5.0"
可見一個vlan tag22 的 IF已經創建,veth另一端在pod內。
這樣容器內就兩張網絡,一個是默認的k8s網絡,另外一個通過OVS的vlan網絡。
這樣就實現了一個容器多網絡。
對於這個插件實現原理,
在init的時候,確保k8s_br 的ovs 網橋存在。
在setup 的時候,先通過pod 那麼獲取vlan名字,然後通過pipework添加veth到容器內。
(在這裏的場景非常簡單,固定IP,而且vlan tag從pod name獲取。在複雜的場景裏,這裏的IP和vlan tag 可以從一個專門的服務獲取,比如ETCD等)
在teardown的時候,刪除veth,刪除OVSport。
相對單獨使用pipework,有一個缺點就是pipework創建的veth 和port 無法伴隨容器的生命週期,比如容器銷燬後veth仍舊存在。現在通過k8s的網絡插件結構,插件通過pipework創建的veth 和port可以伴隨POD的生命週期,包括POD的遷移。