k8s使用Harbor倉庫

---

title: kubeadm安裝k8s 1.15版
image: /images/theme/k8s.jpg

---

前提：
1、安裝 k8s 的節點必須是大於 1 核心的 CPU
2、阿里雲的repo 和base源

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

1、設置系統主機名以及host解析

hostnamectl  set-hostname  k8s-master
10.0.0.20 k8s-node01
10.0.0.21 k8s-node02  
10.0.0.10 k8s-master

2、安裝依賴包

yum install -y  conntrack ntpdate  ntp  ipvsadmin ipset  jq iptables  curl  sysstat  libseccomp wget  vim   net-tools git

3、設置防火牆爲 Iptables 並設置空規則

systemctl  stop firewalld  &&  systemctl  disable firewalld
 yum -y install iptables-services  &&  systemctl  start iptables  &&  systemctl  enable iptables  &&  iptables -F  &&  service iptables save

4、關閉selinux 關閉swap
開啓虛擬內存時 如果pod在swap中運行 那麼kubernetes出現報錯

   swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
   setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

5、調整內核參數，對於 K8S

   cat > kubernetes.conf <<EOF
   net.bridge.bridge-nf-call-iptables=1    #開啓網橋模式
   net.bridge.bridge-nf-call-ip6tables=1    #開啓網橋模式
   net.ipv4.ip_forward=1
   net.ipv4.tcp_tw_recycle=0
   vm.swappiness=0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它
   vm.overcommit_memory=1 # 不檢查物理內存是否夠用
   vm.panic_on_oom=0 # 開啓 OOM  
   fs.inotify.max_user_instances=8192
   fs.inotify.max_user_watches=1048576
   fs.file-max=52706963
   fs.nr_open=52706963
   net.ipv6.conf.all.disable_ipv6=1   #關閉ipv6
   net.netfilter.nf_conntrack_max=2310720
   EOF

   cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf  開機調用
   sysctl -p /etc/sysctl.d/kubernetes.conf    立刻生效

6、調整系統時區

   # 設置系統時區爲 中國/上海
   timedatectl set-timezone Asia/Shanghai
   # 將當前的 UTC 時間寫入硬件時鐘
   timedatectl set-local-rtc 0
   # 重啓依賴於系統時間的服務
   systemctl restart rsyslog 
   systemctl restart crond

7、關閉系統不需要服務

   systemctl stop postfix && systemctl disable postfix

8、設置 rsyslogd 和 systemd journald
使用日誌爲 journald 方式

   mkdir /var/log/journal # 持久化保存日誌的目錄
   mkdir /etc/systemd/journald.conf.d  創建配置文件存放目錄

創建journal 的日誌配置文件

  cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
   [Journal]
   # 持久化保存到磁盤
   Storage=persistent
    
   # 壓縮歷史日誌
   Compress=yes
    
   SyncIntervalSec=5m
   RateLimitInterval=30s
   RateLimitBurst=1000
    
   # 最大佔用空間 10G
   SystemMaxUse=10G
    
   # 單日誌文件最大 200M
   SystemMaxFileSize=200M
    
   # 日誌保存時間 2 周
   MaxRetentionSec=2week
    
   # 不將日誌轉發到 syslog
   ForwardToSyslog=no
   EOF

9、重啓服務

  systemctl restart systemd-journald

10、升級系統內核爲 4.44

CentOS 7.x 系統自帶的 3.10.x 內核存在一些 Bugs，導致運行的 Docker、Kubernetes 不穩定，例如： rpm -Uvh
http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

升級

   rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
      # 安裝完成後檢查 /boot/grub2/grub.cfg 中對應內核 menuentry 中是否包含 initrd16 配置，如果沒有，再安裝
   一次！
   yum --enablerepo=elrepo-kernel install -y kernel-lt
   # 設置開機從新內核啓動
   grub2-set-default 'CentOS Linux (4.4.226-1.el7.elrepo.x86_64) 7 (Core)' && reboot
   
   
   uname  -r  

11、kube-proxy開啓ipvs的前置條件

修改調度方式爲ipvs,解決pod和service的調度方式

  modprobe br_netfilter   加載模塊 

   cat > /etc/sysconfig/modules/ipvs.modules <<EOF
   #!/bin/bash
   modprobe -- ip_vs
   modprobe -- ip_vs_rr
   modprobe -- ip_vs_wrr
   modprobe -- ip_vs_sh
   modprobe -- nf_conntrack_ipv4
   EOF

  chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

12、安裝 Docker 軟件

  yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

 yum update -y && yum install -y docker-ce
 systemctl restart  docker  && systemctl  enable  docker
 uname  -r

   ## 創建 /etc/docker 目錄
   mkdir /etc/docker
    
   # 配置 daemon.
   cat > /etc/docker/daemon.json <<EOF
   {
     "exec-opts": ["native.cgroupdriver=systemd"],
     "log-driver": "json-file",
     "log-opts": {
       "max-size": "100m"
     }
   }
   EOF
   
      mkdir -p /etc/systemd/system/docker.service.d

13、 # 重啓docker服務

   systemctl daemon-reload && systemctl restart docker && systemctl enable docker

修改/etc/docker/daemon.json的文件 並且發送到其他節點

{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "insecure-registries":["https://hub.atguigu.com"]
}

 scp  /etc/docker/daemon.json   10.0.0.10:/etc/docker/daemon.json
  scp  /etc/docker/daemon.json   10.0.0.20:/etc/docker/daemon.json
  scp  /etc/docker/daemon.json   10.0.0.21:/etc/docker/daemon.json 

重啓docker(所有節點)

systemctl restart docker systemctl restart docker

導入docker-compose文件 並賦予執行權限

  mv docker-compose /usr/local/
  cd /usr/local/
  ll docker-compose 
 mv docker-compose   /usr/local/bin/
  chmod  a+x   /usr/local/bin/docker-compose 

鏈接：https://pan.baidu.com/s/1H5zIMIoFCzip9T34mEe1mQ
提取碼：xdfg
複製這段內容後打開百度網盤手機App，操作更方便哦

導入包，解壓並修改文件
鏈接：https://pan.baidu.com/s/12fmXkfSV7Ar-bNAlHyLINQ
提取碼：85q0

tar zxvf  harbor-offline-installer-v1.2.0.tgz 
  vim harbor.cfg 
  修改內容
  hostname = hub.atguigu.com
  ui_url_protocol = https

創建存放證書的目錄  
  
  mkdir  /data/cert/
  mkdir  /data/cert/ -p
cd /data/cert/

openssl genrsa -des3  -out server.key 2048

cat server.key 
openssl  req -new  -key  server.key  -oout  server.csr
 openssl  req -new  -key  server.key  -out  server.csr
cp  server.key  server.key.org
openssl rsa -in server.key.org  -out  server.key
openssl  x509 -req -days  365  -in server.csr -signkey server.key -out server.crt
chmod a+x *
./install.sh  執行腳本

等到腳本執行完成 在本地win中添加解析

10.0.0.100 hub.atguigu.com

docker登錄測試

[root@localhost harbor]# docker login  https://hub.atguigu.com
Username: admin
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
密碼：
Harbor12345

（嗶哩嗶哩觀看尚硅谷視頻學習時寫的博客）

docker pull wangyanglinux/myapp:v1
下載一個鏡像（汪洋的）
push到harbor中

docker tag  wangyanglinux/myapp:v1  hub.atguigu.com/library/myapp:v1 
docker push   hub.atguigu.com/library/myapp:v1

在kubernetes中啓動一個deployment進行測試鏡像是否能被調用
命令行方式啓動一個deployment

kubectl   run nginx-deployment  --image=hub.atguigu.com/library/myapp:v1 --port=80 --replicas=1

 kubectl   run 
nginx-deployment    指定deployment的名字
--image=hub.atguigu.com/library/myapp:v1   指定使用的鏡像
--port=80   指定暴露的端口（其實不指定也沒事；因爲是在扁平化的網絡中）
--replicas=1   指定副本數爲1個

查看deployment
[root@k8s-master ~]# kubectl  get deployment
NAME               READY   UP-TO-DATE   AVAILABLE   AGE
nginx-deployment   0/1     1            0           16s
查看rs （deployment 通過rs控制pod）
[root@k8s-master ~]# kubectl  get rs
NAME                         DESIRED   CURRENT   READY   AGE
nginx-deployment-85756b779   1         1         1       23s
[root@k8s-master ~]# 
查看pod
[root@k8s-master ~]# kubectl  get pod
NAME                               READY   STATUS    RESTARTS   AGE
nginx-deployment-85756b779-bqjqg   1/1     Running   0          29s
[root@k8s-master ~]# kubectl  get pod -o wide
NAME                               READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
nginx-deployment-85756b779-bqjqg   1/1     Running   0          41s   10.244.2.2   k8s-node02   <none>           <none>
訪問一下 （通過扁平化的網絡方式）
[root@k8s-master ~]# curl 10.244.2.2
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@k8s-master ~]# curl 10.244.2.2/hostname.html
nginx-deployment-85756b779-bqjqg
[root@k8s-master ~]# 

命令行方式添加deployment的副本數
kubectl  scale --replicas=3 deployment/nginx-deployment

如何訪問這三個nginx的pod
通過svc
創建一個svc

kubectl   expose  deployment  nginx-deployment  --port=30000 --target-port=80

kubectl   expose  
deployment   指定類型爲deployment
nginx-deployment    指定deployment的名字
--port=30000   指定宿主機的端口
--target-port=80   指定pod的端口 

創建svc
[root@k8s-master ~]# kubectl   expose  deployment  nginx-deployment  --port=30000 --target-port=80
service/nginx-deployment exposed
查看svc的地址
[root@k8s-master ~]# kubectl  get  svc  -o wide
NAME               TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE    SELECTOR
kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP     7h6m   <none>
nginx-deployment   ClusterIP   10.105.52.122   <none>        30000/TCP   2m4s   run=nginx-deployment
訪問測試
[root@k8s-master ~]# curl 10.105.52.122:30000
Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@k8s-master ~]# 
默認輪詢的方式進行負載

查看地址規則

yum install -y  ipvsadm-1.27-8.el7.x86_64
[root@k8s-master ~]# ipvsadm -Ln |grep  10.105.52.122 
TCP  10.105.52.122:30000 rr

調度的機制是使用調度ipvs模塊來實現負載均衡

這是內部地址 不能被外部訪問

[root@k8s-master ~]# kubectl  get  svc
NAME               TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE
kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP     7h14m
nginx-deployment   ClusterIP   10.105.52.122   <none>        30000/TCP   9m50s

修改svc的方式爲

kubectl   edit  svc  nginx-deployment
修改  ClusterIP    方式爲  NodePort
  type: NodePort
[root@k8s-master ~]# kubectl  get  svc
NAME               TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)           AGE
kubernetes         ClusterIP   10.96.0.1       <none>        443/TCP           7h17m
nginx-deployment   NodePort    10.105.52.122   <none>        30000:30048/TCP   12m

查看端口

[root@k8s-master ~]# netstat  -anpt |grep  :30048
tcp6       0      0 :::30048                :::*                    LISTEN      100907/kube-proxy   
[root@k8s-master ~]# 

所有節點都暴露這個端口 30048