kubeadm部署k8s v1.11.0

Author:zhutong Time:2019-11-12
一、系统配置：
关闭防火墙、禁用selinux
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

编辑文件/etc/selinux/config，将SELINUX修改为disabled，如下：
sed -i ‘s/SELINUX=permissive/SELINUX=disabled/g’ /etc/sysconfig/selinux
SELINUX=disabled

关闭系统Swap：1.15之后的新规定（我安装1.11.0也需要关闭，不然初始化会报错）
Kubernetes 1.8开始要求关闭系统的Swap，如果不关闭，默认配置下kubelet将无法启动。方法一,通过kubelet的启动参数–fail-swap-on=false更改这个限制。方法二,关闭系统的Swap。

swapoff -a
修改/etc/fstab文件，注释掉SWAP的自动挂载，使用free -m确认swap已经关闭。

二、安装低版本docker
v1.11.0版本推荐使用docker v17.03,
v1.11,v1.12,v1.13, 也可以使用，再高版本的docker可能无法正常使用（亲测19以上的docker无法使用）

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum makecache fast
查看Docker版本：
yum list docker-ce --showduplicates

安装较旧版本（比如Docker 17.03.2) ：
需要指定完整的rpm包的包名，并且加上–setopt=obsoletes=0 参数

yum install -y --setopt=obsoletes=0
docker-ce-17.03.2.ce-1.el7.centos.x86_64
docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch
systemctl enable docker
systemctl start docker.service
docker -v

三、使用kubeadm部署k8s

在所有节点安装kubeadm和kubelet（master需要安装kubectl）：
配置源
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装
yum makecache fast
yum install -y kubelet-1.11.0
yum install -y kubeadm-1.11.0 kubectl-1.11.0 [分两步装 不然报错]

配置：
配置转发相关参数，否则可能会出错
查看是否开启：sysctl net.ipv4.ip_forward
cat < /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
{如果net.bridge.bridge-nf-call-iptables＝1，也就意味着二层的网桥在转发包时也会被iptables的FORWARD规则所过滤，这样就会出现L3层的iptables rules去过滤L2的帧的问题}
使配置生效
sysctl --system

如果net.bridge.bridge-nf-call-iptables报错，加载br_netfilter模块
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

加载ipvs相关内核模块(低版本不需要)
如果重新开机，需要重新加载（可以写在 /etc/rc.local 中开机自动加载）
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
查看是否加载成功
lsmod | grep ip_vs

配置启动kubelet（所有节点）
配置kubelet使用国内pause镜像
获取docker的cgroups
DOCKER_CGROUPS=$(docker info | grep ‘Cgroup’ | cut -d’ ’ -f3)[只针对此安装docker版本，其他版本的docker 驱动获取可能有点差异 ]
echo $DOCKER_CGROUPS

配置kubelet的cgroups
cat >/etc/sysconfig/kubelet<<EOF
KUBELET_EXTRA_ARGS="–cgroup-driver=$DOCKER_CGROUPS --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"
EOF

启动
systemctl daemon-reload
systemctl enable kubelet && systemctl restart kubelet(这时候所有节点的kubelet都无法启动，结合二进制安装可知道，只有master生成相关证书，认证各个节点的kubelet才能够启动成功。即master初始化集群，node节点加入集群)

配置master节点
下载镜像，重新打tag

kubeadm config images list 查看初始化集群所需镜像
[root@master ~]# more images.sh
#!/bin/bash
docker pull mirrorgooglecontainers/kube-apiserver:v1.11.0
docker tag mirrorgooglecontainers/kube-apiserver:v1.11.0 k8s.gcr.io/kube-apiserver:v1.11.0
docker pull mirrorgooglecontainers/kube-controller-manager:v1.11.0
docker tag mirrorgooglecontainers/kube-controller-manager:v1.11.0 k8s.gcr.io/kube-controller-manager:v1.11.0
docker pull mirrorgooglecontainers/kube-scheduler:v1.11.0
docker tag mirrorgooglecontainers/kube-scheduler:v1.11.0 k8s.gcr.io/kube-scheduler:v1.11.0
docker pull mirrorgooglecontainers/kube-proxy:v1.11.0
docker tag mirrorgooglecontainers/kube-proxy:v1.11.0 k8s.gcr.io/kube-proxy:v1.11.0
docker pull mirrorgooglecontainers/pause:3.1
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.2.24
docker tag mirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.2.24
docker pull coredns/coredns:1.2.6
docker tag coredns/coredns:1.2.6 k8s.gcr.io/coredns:1.2.6

cat >kubeadm-master.config<<EOF
apiVersion: kubeadm.k8s.io/v1alpha2
kind: MasterConfiguration
kubernetesVersion: v1.11.0
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
api:
advertiseAddress: 6.6.6.134

controllerManagerExtraArgs:
node-monitor-grace-period: 10s
当node失联后一段时间后，kubernetes判定node为notready状态，这段时长的配置项为 node-monitor-grace-period ，默认40s
pod-eviction-timeout: 10s
即当节点宕机该事件间隔后，开始eviction机制，驱赶宕机节点上的Pod，默认为5min
networking:
podSubnet: 10.244.0.0/16[预定义k8s集群的网段]

以下不需要配置，k8s以下的版本中，默认只是iptables.
kubeProxy:
config:
# mode: ipvs
mode: iptables
EOF

拉取镜像，若不成功，可执行多次
kubeadm reset(重置)
kubeadm config images pull --config kubeadm-master.config
初始化
kubeadm init --config kubeadm-master.config

配置使用kubectl
如下操作在master节点操作[给kubectl授权 让其有权限调用apiserver]
rm -rf $HOME/.kube
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config

查看node节点
kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady master 6m19s v1.11.0

只有网络插件也安装配置完成之后，才能显示为ready状态

配置node节点加入集群：
在所有node节点操作，此命令为初始化master成功后返回的结果,互相认证，互传证书
kubeadm join 6.6.6.134:6443 --token 6twecq.lwprt3k2tfet7hhs --discovery-token-ca-cert-hash sha256:698ea50c43e91f2fb383a847f5aa8c3d133cffa76936171c0716fda55b3cb128

这条命令如果有使用的应当清楚是让新的机器加入到k8s当中并充当worker nodes,只需要在后面跟上--experimental-control-plane 就能让该节点部署master上的所有组件包括etcd,如果在第一次配置中指定etcd配置（外部部署etcd）,那么会直接跳过

配置使用网络插件
在master节点操作

下载配置
cd ~ && mkdir flannel && cd flannel
wget https://raw.githubusercontent.com/coreos/flannel/v0.10.0/Documentation/kube-flannel.yml

修改配置文件kube-flannel.yml:
此处的ip配置要与上面kubeadm的pod-network一致，本来就一致，不用改
net-conf.json: |
{
“Network”: “10.244.0.0/16”,
“Backend”: {
“Type”: “vxlan”
}
}
#默认的镜像是quay.io/coreos/flannel:v0.10.0-amd64，如果你能pull下来就不用修改镜像地址，否则，修改yml中镜像地址为阿里镜像源
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64

#目前需要在kube-flannel.yml中使用–iface参数指定集群主机内网网卡的名称，
#否则可能会出现dns无法解析。容器无法通信的情况，需要将kube-flannel.yml下载到本地，

#flanneld启动参数加上–iface=
containers:

• name: kube-flannel
  image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
  command:
• /opt/bin/flanneld
  args:
• –ip-masq
• –kube-subnet-mgr
• –iface=ens33
• –iface=eth0

⚠️⚠️⚠️–iface=ens33 的值，是你当前的网卡,或者可以指定多网卡

启动：
kubectl apply -f kube-flannel.yml

查看：
kubectl get pods --namespace kube-system
kubectl get service
kubectl get svc --namespace kube-system
只有网络插件也安装配置完成之后，才能会显示为ready状态

验证集群
[root@master flannel]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-777d78ff6f-d5fmr 1/1 Running 0 1h
coredns-777d78ff6f-nwsrd 1/1 Running 0 1h
etcd-master 1/1 Running 1 21m
kube-apiserver-master 1/1 Running 3 20m
kube-controller-manager-master 1/1 Running 4 21m
kube-flannel-ds-56ljv 1/1 Running 0 1m
kube-flannel-ds-grw75 1/1 Running 0 1m
kube-flannel-ds-snn7s 1/1 Running 1 1m
kube-proxy-g7682 1/1 Running 1 1h
kube-proxy-j5j6k 1/1 Running 0 21m
kube-proxy-kbk75 1/1 Running 0 17m
kube-scheduler-master 1/1 Running 5 21m

查看node(未配置网络之前，node节点都是notready状态)
[root@master flannel]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready master 1h v1.11.0
node1 Ready 30m v1.11.0
node2 Ready 29m v1.11.0

若node已经加入集群，但是状态显示NotReady,首先尝试重启kubelet

默认token的有效期为24小时，当过期之后，该token就不可用了。
1.重新生成node节点加入集群的token
kubeadm token create --print-join-command


其他node节点需要加入集群，直接复制即可