升级KubenetesNode后无法加入Master问题：plugin flannel does not support config version ""

今天把Node的kubeadm、kubectl、kubelet从1.15升级到1.16

重新加入Master出来以下错误

Oct 11 14:51:50 k8s-node-b kubelet[2518]: W1011 14:51:50.790670    2518 cni.go:237] Unable to update cni config: no valid networks found in /etc/cni/net
Oct 11 14:51:50 k8s-node-b kubelet[2518]: E1011 14:51:50.849393    2518 kubelet.go:2187] Container runtime network not ready: NetworkReady=false reason:ugin is not ready: cni config uninitialized
Oct 11 14:51:55 k8s-node-b kubelet[2518]: W1011 14:51:55.805349    2518 cni.go:202] Error validating CNI config &{cbr0  false [0xc00033abc0 0xc00033b100 98 114 48 34 44 10 32 32 34 112 108 117 103 105 110 115 34 58 32 91 10 32 32 32 32 123 10 32 32 32 32 32 32 34 116 121 112 101 34 58 32 34 102 108 97 1 101 108 101 103 97 116 101 34 58 32 123 10 32 32 32 32 32 32 32 32 34 104 97 105 114 112 105 110 77 111 100 101 34 58 32 116 114 117 101 44 10 32 32 32 116 71 97 116 101 119 97 121 34 58 32 116 114 117 101 10 32 32 32 32 32 32 125 10 32 32 32 32 125 44 10 32 32 32 32 123 10 32 32 32 32 32 32 34 116 12134 44 10 32 32 32 32 32 32 34 99 97 112 97 98 105 108 105 116 105 101 115 34 58 32 123 10 32 32 32 32 32 32 32 32 34 112 111 114 116 77 97 112 112 105 132 32 32 125 10 32 32 32 32 125 10 32 32 93 10 125 10]}: [plugin flannel does not support config version ""]

 临时解决的办法是给 /etc/cni/net.d/10-flannel.conflist  添加cniVersion字段

[root@k8s-node-b net.d]# cat 10-flannel.conflist
{
  "cniVersion": "0.3.0",
  "name": "cbr0",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    },
    {
      "type": "portmap",
      "capabilities": {
        "portMappings": true
      }
    }
  ]
}

以上方法重启Node后将需要重做，终极办法是在Master上更新Flannel（新的版本带有cniVersion字段）或者修改Flannel的ConfigMap，因为这个配置是Node加入时读取的。

更新

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

或修改

kubectl edit cm -n kube-system kube-flannel-cfg -o yaml --save-config

但是原来Master和Node（还未升级的现有Node）也没这个字段都没问题，目前不清楚原因，可能是升级到1.16这个新版本引起的。