實驗環境說明
實驗架構
lab1: master 11.11.11.111
lab2: node 11.11.11.112
lab3: node 11.11.11.113
複製代碼實驗使用的Vagrantfile
# -*- mode: ruby -*- # vi: set ft=ruby :
ENV["LC_ALL"] = "en_US.UTF-8"
Vagrant.configure("2") do |config|
(1..3).each do |i|
config.vm.define "lab#{i}" do |node|
node.vm.box = "centos-7.4-docker-17"
node.ssh.insert_key = false
node.vm.hostname = "lab#{i}"
node.vm.network "private_network", ip: "11.11.11.11#{i}"
node.vm.provision "shell",
inline: "echo hello from node #{i}"
node.vm.provider "virtualbox" do |v|
v.cpus = 2
v.customize ["modifyvm", :id, "--name", "lab#{i}", "--memory", "2048"]
end end end end 複製代碼安裝要求
- 需要在每個節點上先安裝好kubeadm
- 有每個節點配置好hosts解析
cat >>/etc/hosts<<EOF 11.11.11.111 lab1 11.11.11.112 lab2 11.11.11.113 lab3 EOF 複製代碼
安裝配置master節點
說明
由於kubeadm默認會去拉取gcr.io上的鏡像來啓動master相關的組件，由於在國內無法訪問gcr.io所以會導致無法成功啓動。有如下幾種解決辦法：
- 在能翻牆的機器上拉取鏡像，再打包導入到master機器上（docker save/load）
- 直接拉國內別人的鏡像，然後打tag爲gcr.io的鏡像
- 啓動配置集羣的時候指定鏡像相關配置，使用阿里鏡像（本次實驗採用）
初始化
cat >kubeadm-master.config<<EOF
apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
kubernetesVersion: v1.10.3
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
etcd:
image: registry.cn-hangzhou.aliyuncs.com/google_containers/etcd-amd64:3.1.12
api:
advertiseAddress: 11.11.11.111
controllerManagerExtraArgs:
node-monitor-grace-period: 10s
pod-eviction-timeout: 10s
networking:
podSubnet: 10.244.0.0/16
EOF
# 配置kubelet使用國內可用pause鏡像 # 修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf # 添加如下配置
sed -i '/ExecStart=$/i Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.cn-shanghai.aliyuncs.com/gcr-k8s/pause-amd64:3.0"' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
# 重新載入配置
systemctl daemon-reload
# 設置kubelet開機啓動
systemctl enable kubelet
# 使用配置文件方式
kubeadm init --config kubeadm-master.config
複製代碼沒有經過測試的另一種初始化方法
# 使用命令行方式
KUBE_REPO_PREFIX='registry.cn-hangzhou.aliyuncs.com/google_containers' kubeadm init \
--kubernetes-version=v1.10.3 \
--pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=11.11.11.111
複製代碼配置kubectl使用
rm -rf $HOME/.kube
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 查看node節點
kubectl get nodes
# 只有網絡插件也安裝配置完成之後，才能會顯示爲ready狀態 # 設置master允許部署應用pod，參與工作負載，現在可以部署其他系統組件 # 如 dashboard, heapster, efk等
kubectl taint nodes --all node-role.kubernetes.io/master-
複製代碼配置使用網絡插件
配置使用flannel
# 下載配置
mkdir flannel && cd flannel
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 修改配置 # 此處的ip配置要與上面kubeadm的pod-network一致
net-conf.json: |
{
"Network": "10.244.0.0/16",
"Backend": {
"Type": "vxlan"
}
}
# 修改鏡像
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
# 如果Node有多個網卡的話，參考flannel issues 39701， # https://github.com/kubernetes/kubernetes/issues/39701 # 目前需要在kube-flannel.yml中使用--iface參數指定集羣主機內網網卡的名稱， # 否則可能會出現dns無法解析。容器無法通信的情況，需要將kube-flannel.yml下載到本地， # flanneld啓動參數加上--iface=<iface-name>
containers:
- name: kube-flannel
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
command:
- /opt/bin/flanneld
args:
- --ip-masq
- --kube-subnet-mgr
- --iface=eth1
# 啓動
kubectl apply -f kube-flannel.yml
# 查看
kubectl get pods --namespace kube-system
kubectl get svc --namespace kube-system
複製代碼安裝配置node節點
配置
# 配置kubelet使用國內可用pause鏡像 # 修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf # 添加如下配置
sed -i '/ExecStart=$/i Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.cn-shanghai.aliyuncs.com/gcr-k8s/pause-amd64:3.0"' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
# 重新載入配置
systemctl daemon-reload
# 設置kubelet開機啓動
systemctl enable kubelet
複製代碼加入集羣
# 此命令爲啓動master成功後返回的結果
kubeadm join --token 55a6f8.1091208463fe1252 11.11.11.111:6443 --discovery-token-ca-cert-hash sha256:790c6b38b087b167c1f52c04526d8729115192a305eb91c01c0fd8dc7facbbcd
複製代碼測試容器間的通信和DNS
配置好calico網絡之後，kubeadm會自動部署kube-dns
啓動
kubectl run nginx --replicas=2 --image=nginx:alpine --port=80
kubectl expose deployment nginx --type=NodePort --name=example-service-nodeport
kubectl expose deployment nginx --name=example-service
複製代碼查看狀態
kubectl get deploy
kubectl get pods
kubectl get svc
kubectl describe svc example-service
複製代碼DNS解析
kubectl run curl --image=radial/busyboxplus:curl -i --tty
nslookup kubernetes
nslookup example-service
curl example-service
複製代碼訪問測試
# 10.96.59.56 爲查看svc時獲取到的clusterip
curl "10.96.59.56:80" # 32223 爲查看svc時獲取到的 nodeport
http://11.11.11.112:32223/
http://11.11.11.113:32223/
複製代碼清理刪除
kubectl delete svc example-service example-service-nodeport
kubectl delete deploy nginx curl
複製代碼挖坑記
1. 如果刪除kube-dns後怎麼修復
# 第一種方法
kubeadm upgrade apply v1.10.3 --config kubeadm-master.config
# 第二種方法
kubeadm config upload from-file --config kubeadm-master.config
kubeadm upgrade apply v1.10.3
複製代碼2. 忘記初始master節點時的node節點加入集羣命令怎麼辦
# 簡單方法
kubeadm token create --print-join-command
# 第二種方法
token=$(kubeadm token generate)
kubeadm token create $token --print-join-command --ttl=0本文轉自掘金-centos7使用kubeadm安裝k8s集羣