通過kubeadm搭建k8s集羣

====== 通過kubeadm搭建k8s集羣 ======

1、版本統一
  Docker       18.09.0
  ---
  kubeadm-1.14.0-0 
  kubelet-1.14.0-0 
  kubectl-1.14.0-0
  ---
  k8s.gcr.io/kube-apiserver:v1.14.0
  k8s.gcr.io/kube-controller-manager:v1.14.0
  k8s.gcr.io/kube-scheduler:v1.14.0
  k8s.gcr.io/kube-proxy:v1.14.0
  k8s.gcr.io/pause:3.1
  k8s.gcr.io/etcd:3.3.10
  k8s.gcr.io/coredns:1.3.1
  ---
  calico:v3.9
  
2、準備3臺centos，要保證彼此之間能夠ping通，也就是處於同一個網絡中，虛擬機的配置要求上面也描述咯。

3、 更新並安裝依賴，3臺機器都需要執行
  【yum -y update】
  【yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp】
  
4、安裝Docker，三臺機器都安裝，安裝步驟見docker安裝筆記

5、修改hosts文件

  1)、master節點：【sudo hostnamectl set-hostname m】
  
  2)、兩個worker分別
  【sudo hostnamectl set-hostname w1】
  【sudo hostnamectl set-hostname w2】
  
3、三個節點都在hosts文件上加上：【vi /etc/hosts】
  192.168.8.51 m
  192.168.8.61 w1
  192.168.8.62 w2
  
4、使用ping測試一下，【ping w1】

5、系統基礎前提配置
  # (1)關閉防火牆
  systemctl stop firewalld && systemctl disable firewalld
  
  # (2)關閉selinux
  setenforce 0
  sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
  
  # (3)關閉swap
  swapoff -a
  sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab
  
  # (4)配置iptables的ACCEPT規則
  iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
  
  # (5)設置系統參數
  cat <<EOF >  /etc/sysctl.d/k8s.conf
  net.bridge.bridge-nf-call-ip6tables = 1
  net.bridge.bridge-nf-call-iptables = 1
  EOF
  
  sysctl --system
  
6、Installing kubeadm（搭建k8s集羣）, kubelet（運行pod ） and kubectl（客戶端與集羣打交道的工具）

  1)、配置yum源，三個節點執行
  cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  [kubernetes]
  name=Kubernetes
  baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  enabled=1
  gpgcheck=0
  repo_gpgcheck=0
  gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
         http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  EOF
  
  2)、安裝kubeadm&kubelet&kubectl：【yum install -y kubeadm-1.14.0-0 kubelet-1.14.0-0 kubectl-1.14.0-0】

  3)、docker和k8s設置同一個cgroup
    (1)、【vi /etc/docker/daemon.json】，在/daemon.json文件中加入：【"exec-opts": ["native.cgroupdriver=systemd"],】
     【systemctl restart docker】
    
    (3)、# kubelet，這邊如果發現輸出directory not exist，也說明是沒問題的，大家繼續往下進行即可
     【sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf】
     
    (4)、安裝成功，設置開機啓動：【systemctl enable kubelet && systemctl start kubelet】

7、proxy/pause/scheduler等國內鏡像

  1)、查看 kubeadm 使用的鏡像：【kubeadm config images list】，內容如下，7個
    k8s.gcr.io/kube-apiserver:v1.14.0
    k8s.gcr.io/kube-controller-manager:v1.14.0
    k8s.gcr.io/kube-scheduler:v1.14.0
    k8s.gcr.io/kube-proxy:v1.14.0
    k8s.gcr.io/pause:3.1
    k8s.gcr.io/etcd:3.3.10
    k8s.gcr.io/coredns:1.3.1
    
  2)、解決國外鏡像不能訪問的問題
    (1)、創建kubeadm.sh腳本，用於拉取鏡像/打tag/刪除原有鏡像，在每個節點中都創建保存改腳本：【vi kubeadm.sh】,內容如下
        #!/bin/bash
        
        set -e
        
        KUBE_VERSION=v1.14.0
        KUBE_PAUSE_VERSION=3.1
        ETCD_VERSION=3.3.10
        CORE_DNS_VERSION=1.3.1
        
        GCR_URL=k8s.gcr.io
        ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
        
        images=(kube-proxy:${KUBE_VERSION}
        kube-scheduler:${KUBE_VERSION}
        kube-controller-manager:${KUBE_VERSION}
        kube-apiserver:${KUBE_VERSION}
        pause:${KUBE_PAUSE_VERSION}
        etcd:${ETCD_VERSION}
        coredns:${CORE_DNS_VERSION})
        
        for imageName in ${images[@]} ; do
          docker pull $ALIYUN_URL/$imageName
          docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName
          docker rmi $ALIYUN_URL/$imageName
        done
        
    (2)、運行腳本和查看鏡像：【sh ./kubeadm.sh】，【docker images】

  3)、將這些鏡像推送到自己的阿里雲倉庫【可選，根據自己實際的情況】
    【docker login --username=xxx registry.cn-hangzhou.aliyuncs.com】，推送腳本如下
    
    #!/bin/bash
    
    set -e
    
    KUBE_VERSION=v1.14.0
    KUBE_PAUSE_VERSION=3.1
    ETCD_VERSION=3.3.10
    CORE_DNS_VERSION=1.3.1
    GCR_URL=k8s.gcr.io
    ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/tiger2019
    images=(kube-proxy:${KUBE_VERSION}
    kube-scheduler:${KUBE_VERSION}
    kube-controller-manager:${KUBE_VERSION}
    kube-apiserver:${KUBE_VERSION}
    pause:${KUBE_PAUSE_VERSION}
    etcd:${ETCD_VERSION}
    coredns:${CORE_DNS_VERSION})
    for imageName in ${images[@]} ; do
        docker tag $GCR_URL/$imageName $ALIYUN_URL/$imageName
        docker push $ALIYUN_URL/$imageName
        docker rmi $ALIYUN_URL/$imageName
    done

    運行腳本 【sh ./kubeadm-push-aliyun.sh】

8、kube init初始化 master

  1)、kube init流程
  
    01-進行一系列檢查，以確定這臺機器可以部署kubernetes
    
    02-生成kubernetes對外提供服務所需要的各種證書可對應目錄
    /etc/kubernetes/pki/*
    
    03-爲其他組件生成訪問kube-ApiServer所需的配置文件
        ls /etc/kubernetes/
        admin.conf  controller-manager.conf  kubelet.conf  scheduler.conf
        
    04-爲 Master組件生成Pod配置文件。
        ls /etc/kubernetes/manifests/*.yaml
        kube-apiserver.yaml 
        kube-controller-manager.yaml
        kube-scheduler.yaml
        
    05-生成etcd的Pod YAML文件。
        ls /etc/kubernetes/manifests/*.yaml
        kube-apiserver.yaml 
        kube-controller-manager.yaml
        kube-scheduler.yaml
        etcd.yaml
        
    06-一旦這些 YAML 文件出現在被 kubelet 監視的/etc/kubernetes/manifests/目錄下，kubelet就會自動創建這些yaml文件定義的pod，即master組件的容器。master容器啓動後，kubeadm會通過檢查localhost：6443/healthz這個master組件的健康狀態檢查URL，等待master組件完全運行起來
    
    07-爲集羣生成一個bootstrap token
    
    08-將ca.crt等 Master節點的重要信息，通過ConfigMap的方式保存在etcd中，工後續部署node節點使用
    
    09-最後一步是安裝默認插件，kubernetes默認kube-proxy和DNS兩個插件是必須安裝的

  2)、【kubeadm init --kubernetes-version=1.14.0 --apiserver-advertise-address=192.168.3.51 --pod-network-cidr=10.244.0.0/16】
    1.執行成功信息
  Your Kubernetes control-plane has initialized successfully!
  
  To start using your cluster, you need to run the following as a regular user:
  
    mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config
  
  You should now deploy a pod network to the cluster.
  Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
    https://kubernetes.io/docs/concepts/cluster-administration/addons/
  
  Then you can join any number of worker nodes by running the following on each as root:
  
  kubeadm join 192.168.3.51:6443 --token fvxofu.fxdgrb9f6l5mvgmd \
      --discovery-token-ca-cert-hash sha256:db32c745032468fada5f50c218246951e098e3b09ef46696099a732d93cb92d5 

    
    2.根據日誌提示執行：
      mkdir -p $HOME/.kube
      sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
      sudo chown $(id -u):$(id -g) $HOME/.kube/config
      
    3.查看pod，等待一會兒，同時可以發現像etcd，controller，scheduler等組件都以pod的方式安裝成功了
    
    4.查看kube-system的pods：【kubectl get pods -n kube-system -w】，注意：coredns沒有啓動，需要安裝網絡插件
      查看所有pods：【kubectl get pods --all-namespaces】

    5.健康檢查：【curl -k https://localhost:6443/healthz】

9、部署安裝 calico 網絡插件【https://kubernetes.io/docs/concepts/cluster-administration/addons/】

  1)、calico網絡插件：【https://docs.projectcalico.org/v3.9/getting-started/kubernetes/】，calico，同樣在master節點上操作
  
  2)、【kubectl apply -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml】
  
        可省略步驟：
      【wget https://docs.projectcalico.org/v3.9/manifests/calico.yaml】
      查看所使用到的鏡像：【cat calico.yaml | grep image】
      

  3)、確認一下calico是否安裝成功：【kubectl get pods --all-namespaces】，查看所有pods
  
  4)、主節點查詢節點：【kubectl get node】

10、kube join，在woker01和worker02上執行之前保的命令，如下
  【kubeadm join 192.168.3.51:6443 --token 9s9lxo.zeijg5g35x1aex7m \
    --discovery-token-ca-cert-hash sha256:e7916a19e5c055acdf8f26aff67fb953efdfd7a55d78310cb258cf600dee9183】
  
  如果添加節點失敗，或是想重新添加，可以在從節點使用命令：【kubeadm reset】
  
11、再次查看主節點：【kubectl get nodes】，此時發現多了節點信息

12、體驗Pod，定義pod.yml文件，比如pod_nginx_rs.yaml
cat > pod_nginx_rs.yaml <<EOF
apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: nginx
  labels:
    tier: frontend
spec:
  replicas: 3
  selector:
    matchLabels:
      tier: frontend
  template:
    metadata:
      name: nginx
      labels:
        tier: frontend
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
EOF

13、根據pod_nginx_rs.yml文件創建pod：【kubectl apply -f pod_nginx_rs.yaml】

14、查看pod：
  【kubectl get pods】
  【kubectl get pods -o wide】，可以到對應節點查看驗證：【docker ps | grep nginx】
  【kubectl describe pod nginx】