kubeadm安裝k8s 1.15版

kubeadm安裝k8s 1.15版

前提：
1、安裝 k8s 的節點必須是大於 1 核心的 CPU
2、阿里雲的repo 和base源

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

1、設置系統主機名以及host解析

hostnamectl  set-hostname  k8s-master
10.0.0.20 k8s-node01
10.0.0.21 k8s-node02  
10.0.0.10 k8s-master

2、安裝依賴包

yum install -y  conntrack ntpdate  ntp  ipvsadmin ipset  jq iptables  curl  sysstat  libseccomp wget  vim   net-tools git

3、設置防火牆爲 Iptables 並設置空規則

systemctl  stop firewalld  &&  systemctl  disable firewalld
 yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables  &&  iptables -F  &&  service iptables save

4、關閉selinux 關閉swap
開啓虛擬內存時 如果pod在swap中運行 那麼kubernetes出現報錯

   swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
   setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

5、調整內核參數，對於 K8S

   cat > kubernetes.conf <<EOF
   net.bridge.bridge-nf-call-iptables=1    #開啓網橋模式
   net.bridge.bridge-nf-call-ip6tables=1    #開啓網橋模式
   net.ipv4.ip_forward=1
   net.ipv4.tcp_tw_recycle=0
   vm.swappiness=0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它
   vm.overcommit_memory=1 # 不檢查物理內存是否夠用
   vm.panic_on_oom=0 # 開啓 OOM  
   fs.inotify.max_user_instances=8192
   fs.inotify.max_user_watches=1048576
   fs.file-max=52706963
   fs.nr_open=52706963
   net.ipv6.conf.all.disable_ipv6=1   #關閉ipv6
   net.netfilter.nf_conntrack_max=2310720
   EOF

   cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf  開機調用
   sysctl -p /etc/sysctl.d/kubernetes.conf    立刻生效

6、調整系統時區

   # 設置系統時區爲 中國/上海
   timedatectl set-timezone Asia/Shanghai
   # 將當前的 UTC 時間寫入硬件時鐘
   timedatectl set-local-rtc 0
   # 重啓依賴於系統時間的服務
   systemctl restart rsyslog 
   systemctl restart crond

7、關閉系統不需要服務

   systemctl stop postfix && systemctl disable postfix

8、設置 rsyslogd 和 systemd journald
使用日誌爲 journald 方式

   mkdir /var/log/journal # 持久化保存日誌的目錄
   mkdir /etc/systemd/journald.conf.d  創建配置文件存放目錄

創建journal 的日誌配置文件

  cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
   [Journal]
   # 持久化保存到磁盤
   Storage=persistent
    
   # 壓縮歷史日誌
   Compress=yes
    
   SyncIntervalSec=5m
   RateLimitInterval=30s
   RateLimitBurst=1000
    
   # 最大佔用空間 10G
   SystemMaxUse=10G
    
   # 單日誌文件最大 200M
   SystemMaxFileSize=200M
    
   # 日誌保存時間 2 周
   MaxRetentionSec=2week
    
   # 不將日誌轉發到 syslog
   ForwardToSyslog=no
   EOF

9、重啓服務

  systemctl restart systemd-journald

10、升級系統內核爲 4.44

CentOS 7.x 系統自帶的 3.10.x 內核存在一些 Bugs，導致運行的 Docker、Kubernetes 不穩定，例如： rpm -Uvh
http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

升級

   rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
      # 安裝完成後檢查 /boot/grub2/grub.cfg 中對應內核 menuentry 中是否包含 initrd16 配置，如果沒有，再安裝
   一次！
   yum --enablerepo=elrepo-kernel install -y kernel-lt
   # 設置開機從新內核啓動
   grub2-set-default 'CentOS Linux (4.4.226-1.el7.elrepo.x86_64) 7 (Core)' && reboot
   
   
   uname  -r  

11、kube-proxy開啓ipvs的前置條件

修改調度方式爲ipvs,解決pod和service的調度方式

  modprobe br_netfilter   加載模塊 

   cat > /etc/sysconfig/modules/ipvs.modules <<EOF
   #!/bin/bash
   modprobe -- ip_vs
   modprobe -- ip_vs_rr
   modprobe -- ip_vs_wrr
   modprobe -- ip_vs_sh
   modprobe -- nf_conntrack_ipv4
   EOF

  chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

12、安裝 Docker 軟件

  yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

 yum update -y && yum install -y docker-ce
 systemctl restart  docker  && systemctl  enable  docker
 uname  -r

   ## 創建 /etc/docker 目錄
   mkdir /etc/docker
    
   # 配置 daemon.
   cat > /etc/docker/daemon.json <<EOF
   {
     "exec-opts": ["native.cgroupdriver=systemd"],
     "log-driver": "json-file",
     "log-opts": {
       "max-size": "100m"
     }
   }
   EOF
   
      mkdir -p /etc/systemd/system/docker.service.d

13、 # 重啓docker服務

   systemctl daemon-reload && systemctl restart docker && systemctl enable docker

14、安裝 Kubeadm （主從配置）

   cat <<EOF > /etc/yum.repos.d/kubernetes.repo
   [kubernetes]
   name=Kubernetes
   baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
   enabled=1
   gpgcheck=0
   repo_gpgcheck=0
   gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
   EOF

   yum -y  install  kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
   systemctl enable kubelet.service

導入鏡像
每個節點都需要導入鏡像
鏡像下載
鏈接：https://pan.baidu.com/s/18UoPtPGM4XGZIpUYMW-zaQ
提取碼：lcrb

15、初始化主節點

   kubeadm config print init-defaults > kubeadm-config.yaml

修改爲一下內容：



apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 10.0.0.10
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.15.1
networking:
  dnsDomain: cluster.local
  podSubnet: "10.244.0.0/16"
  serviceSubnet: 10.96.0.0/12
scheduler: {}
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

   kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

安裝kubernetes日誌文件解釋：

[init] Using Kubernetes version: v1.15.1  版本信息
[preflight] Running pre-flight checks 檢測當前運行環境
[preflight] Pulling images required for setting up a Kubernetes cluster 下載鏡像
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env" 存放kubernetes的環境變量
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml" kubernetes的配置文件
[certs] Using certificateDir folder "/etc/kubernetes/pki" 存放kubernetes的證書
[certs] apiserver serving cert is signed for DNS names [k8s-master kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 10.0.0.10]
設置默認的dns
 [certs] Generating "front-proxy-ca" certificate and key  密鑰的生成
[certs] etcd/server serving cert is signed for DNS names [k8s-master localhost] and IPs [10.0.0.10 127.0.0.1 ::1]  DNS的名稱和地址
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"配置文件存放位置

初始化後的操作

  mkdir -p $HOME/.kube   當前家目錄下創建.kube的目錄
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config    拷貝管理員的配置文件到.kube
  sudo chown $(id -u):$(id -g) $HOME/.kube/config  賦予屬主屬組的權限

此時查看節點信息

[root@k8s-master ~]# kubectl  get node
NAME         STATUS     ROLES    AGE    VERSION
k8s-master   NotReady   master   9m4s   v1.15.1

出現 NotReady 狀態的原因是 kubernetes需要扁平化的網絡，構建flannel網絡

加入主節點以及其餘工作節點
執行安裝日誌中的加入命令即可
16、部署網絡

/root/install-k8s/plugin/flannel
cd  /root/install-k8s/plugin/flannel
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

下載下來之後（什麼都不需要改）進行創建flannel網絡

 kubectl  create -f  kube-flannel.yml 


kubectl   get  pod  -n kube-system   查看是否執行成功


 kubectl   get  node  再次查看 發現狀態變爲了Ready

kubectl   get  pod -n kube-system -o wide  查看

在node節點執行日誌提示的加入信息


kubectl   get  node  全部都變爲了Ready 

kubectl   get  pod -n kube-system  -w  持續查看


搭建完成
[root@k8s-master ~]# kubectl   get node
NAME         STATUS   ROLES    AGE     VERSION
k8s-master   Ready    master   26m     v1.15.1
k8s-node01   Ready    <none>   7m10s   v1.15.1
k8s-node02   Ready    <none>   7m7s    v1.15.1