ubuntu搭建Kubernetes集群(ansible，kubedam，rancher)

原創 数据架构师 2020-05-31 20:26

全栈工程师开发手册 （作者：栾鹏）
架构系列文章

每个主机切换到同一具有sudo权限的用户，加入用户为k8s_user，
k8s各节点SSH免密登录。
各节点时间同步。
各节点主机名和IP加入/etc/hosts解析
各Node必须关闭swap：swapoff -a，否则kubelet启动失败。

设置每个节点的主机信息

1、master上执行：

a) 设置主机名称命令：hostnamectl --static set-hostname k8s-master
b) 关闭防火墙命令：

   systemctl disable firewalld.service
   systemctl stop firewalld.service

c) 设置hosts命令：

echo '192.168.72.183    k8s-master
192.168.72.183   etcd
192.168.72.183   registry
192.168.72.184   k8s-node-1' >> /etc/hosts

2、 node上执行：

a) 设置主机名称命令：hostnamectl --static set-hostname k8s-node-1
b) 关闭防火墙命令：

systemctl disable firewalld.service
systemctl stop firewalld.service

c) 设置hosts命令：

echo '192.168.72.183    k8s-master
192.168.72.183   etcd
192.168.72.183   registry
192.168.72.184   k8s-node-1' >> /etc/hosts

1、设置主机之间ssh无密码登录。

本地系统执行 ssh-keygen -t rsa 命令，生成密钥文件

本地机器执行命令如：ssh-copy-id -i ~/.ssh/id_rsa.pub k8s-node-1，ssh-copy-id -i ~/.ssh/id_rsa.pub k8s-master 将公钥文件传输的远程机器，并生效。

注意：

  • 免密码登录的处理是用户对用户的，切换其他用户后，仍然需要输入密码
  • 公钥传到远程机器并生效的操作，可用其他方式实现，如scp后修改authorized_keys
  • 远程机器的.ssh目录需要700权限，authorized_keys文件需要600权限

2、每个主机节点安装docker

下面的命令安装docker，多运行几次，有时网络不好会出错。（k8s目前支持docker17.03），所以最好不要安装docker18.03

sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安装GPG证书
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 写入软件源信息
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新并安装 Docker-CE
sudo apt-get -y update
sudo apt-get -y install docker-ce


安装最新版的
apt-get install docker.io

安装指定版本
apt-cache madison docker-ce            查看支持的安装版本
sudo apt-get install docker-ce=17.03.3~ce-0~ubuntu-xenial

卸载docker

sudo apt-get autoremove --purge docker-engine 
sudo apt-get autoremove --purge docker-ce

卸载Docker后,/var/lib/docker/目录下会保留原Docker的镜像,网络,存储卷等文件. 如果需要全新安装Docker,需要删除/var/lib/docker/目录

sudo rm -rf /var/lib/docker

CentOS7安装

在CentOS7+上可以通过yum直接安装（这个版本是1.12.6）。

yum -y install docker

启用中国加速器

echo '{"registry-mirrors": ["http://bcfb7352.m.daocloud.io"]}' > /etc/docker/daemon.json

如果之前装有其他版本的，需要删除所有镜像和容器，并卸载docker重装

另一种配置中国加速器的方法，编辑配置文件

sudo vim /etc/docker/daemon.json

{
"registry-mirrors": [
 "https://registry.hub.docker.com",              # 如果设置registry-mirrors就必须要把官方镜像加上才能拉取在docker hub上自己创建的仓库
 "https://2lqq34jg.mirror.aliyuncs.com",
 "https://pee6w651.mirror.aliyuncs.com",
 "https://registry.docker-cn.com",
 "http://hub-mirror.c.163.com"
]
}


重启docker.service
sudo systemctl daemon-reload
sudo systemctl restart docker
sudo service docker restart

使用ansible部署k8s集群

git地址:https://github.com/626626cdllp/k8s/tree/master/kube-ansible

使用rancher部署k8s集群

将hostname改成小写，这样能顺利安装rke（rancher kubernetes enginer）

修改/etc/hostname
修改/etc/hosts

不然部署会报错
Can not find RKE state file: open /var/lib/rancher/management-state/rke/rke-699207778/cluster.rkestate: no such file or directory

如果之前安装过docker和k8s，需要运行

#删除所有容器
sudo docker rm -f $(sudo docker ps -qa)

#删除/var/etcd目录
sudo rm -rf /var/etcd

#删除/var/lib/kubelet/目录，删除前先卸载
for m in $(sudo tac /proc/mounts | sudo awk '{print $2}'|sudo grep /var/lib/kubelet);do
 sudo umount $m||true
done
sudo rm -rf /var/lib/kubelet/

#删除/var/lib/rancher/目录，删除前先卸载
for m in $(sudo tac /proc/mounts | sudo awk '{print $2}'|sudo grep /var/lib/rancher);do
 sudo umount $m||true
done
sudo rm -rf /var/lib/rancher/

#删除/run/kubernetes/ 目录
sudo rm -rf /run/kubernetes/

#删除所有的数据卷
sudo docker volume rm $(sudo docker volume ls -q)

#再次显示所有的容器和数据卷，确保没有残留
sudo docker ps -a
sudo docker volume ls

有时需要重启才能清理干净。

一定要把旧数据清理干净，etcd，rancher之类的，不然安装不上。

先部署rancher

启动

sudo docker run -d --restart=unless-stopped --name=rancher-server -p 8080:8080 rancher/server:stable

也可以安装最新版的

sudo docker run -d --restart=unless-stopped -p 8001:80 -p 8002:443 -v /root/var/log/auditlog:/var/log/auditlog -e AUDIT_LEVEL=3 rancher/rancher:latest

这里先说一下注意事项：

①rancher分为master和agent。二者最好分开部署，不要让一个节点既是master又是agent

②节点的资源要求：内存要不小于4G，推荐8G以上。4G以下，运行时服务经常会停止。

③所有节点都要配置时间同步

④提前将镜像下载到节点并加载，可以大幅度提升安装速度。（也可以搭建docker镜像私库）

⑤启用Docker的中国加速器，否则部署会很慢

参照 https://www.docker-cn.com/registry-mirror 或者 https://www.daocloud.io

等待容器启动访问对应IP的8080端口的地址，在页面右下脚，切换语言为中文简体。

先进入到环境管理，添加环境模板，选择K8S,然后点击编辑环境 。

修改以下可配置项,更换K8S私有仓库地址

Private Registry for Add-Ons and Pod Infra Container Image的值为

registry.cn-shenzhen.aliyuncs.com

但是由于有些镜像更换镜像地址以后可能就找不到了，所以建议还是不要添加这个私有仓库地址。慢一点安装。

点击底部的设置，然后添加模板名称k8s-CN，在页面最下面点击创建后就能看到有这样一个模板了 。

再部署k8s

同样在环境配置中选择添加环境 ,填写好名称K8S-DEMO，选择我们之前创建好的国内K8S模板k8s-CN。

创建好之后在左上角选择我们创建的环境K8S-DEMO，可以看到初始化进度,等待添加主机。

选择技术架构->主机，添加主机 ，设置主机连接到Rancher的地址(在内网情况下使用内网IP) ，由于我这里是内网，所以直接使用的http://192.168.12.96:8080，也就是部署rancher-server的web地址，点击保存后，选择custom

在步骤4中，填入部署k8s的主机的ip，然后复制部署脚本，在该ip的主机上的运行部署命令。

点击下面的关闭按钮，新的主机注册后会显示在 主机 页面。

再依次添加其他主机。

等待主机上的应用全部部署完成。（缓存的等待安装，圆环的为安装完成，黄色三角形状为安装失败（主要是网络原因），安装失败rancher会重新下载安装，只要等待就行）

在这里插入图片描述
部署完成后 KUBERNETES——> 仪表盘，可以进入k8s的dashboard， 在KUBERNETES——> CLI执行kubectl命令行操作。

注意： 新版本部署已定要等kubernetes 版本选项出来才能部署（有时网络可能会比较慢）

问题：我在部署时遇到kubelet worker docker不停重启失败问题。

Error (Error response from daemon: invalid mount config: must use either propagation mode "rslave" or "rshared" when mount source is within the daemon root, daemon root: "/var/lib/docker", bind mount source: "/var/lib/docker", propagation: "rprivate")

是因为我这边安装的是docker18，挂在形式变了，所以需要做一些改动

mount --make-shared /

或配置docker.service设置
[Service]
MountFlags=shared

重启docker.service
sudo systemctl daemon-reload
sudo systemctl restart docker
sudo service docker restart

用户级配置文件：

/etc/docker/daemon.json（没有则自己创建）

系统级配置文件：

/lib/systemd/system/docker.service —> 启动服务脚本：systemctl start docker 命令就是调用此配置文件

配置参考
https://github.com/moby/moby/blob/master/contrib/init/systemd/docker.service

上面的教程可能不会成功， 那就还是换回docker17.03吧

每个节点上安装kubectl

wget https://dl.k8s.io/v1.11.6/kubernetes-client-linux-amd64.tar.gz
tar -zxvf kubernetes-client-linux-amd64.tar.gz
cd kubernetes/client/bin
chmod +x ./kubectl
sudo mv ./kubectl /usr/local/bin/kubectl

linux命令行通过tab键自动补全的方式

source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

修改rancher安装的应用的镜像地址。

kubectl edit deployments monitoring-influxdb -n kube-system
将image地址由
registry.cn-shenzhen.aliyuncs.com /rancher/heapster-influxdb-amd64:v1.3.3
改成
rancher/heapster-influxdb-amd64:v1.3.3

注意每个deployment中不止有一个image设置点

使用自定义脚本部署k8s集群

注意：目前Kubernetes为Ubuntu提供的kube-up脚本，不支持15.10以及16.04这两个使用systemd作为init系统的版本。

使用自动化脚本，脚本下载地址：https://github.com/626626cdllp/k8s/tree/master/kubernetes

源码下载好后，需要修改配置文件：

root# cd kubernetes/cluster/ubuntu
root# vim config-default.sh

要修改三个地方：

  1. export nodes=${nodes:-"[email protected] [email protected] [email protected]"} 这里是三个节点，有几个就配几个
  2. role=${role:-"ai i i"}这里的值与上面的对应，ai表示既是master又是minion，i表示minion节点。
  3. export NUM_NODES=${NUM_NODES:-3}这里的数字对应节点的个数

然后默认下载的二进制执行文件的版本比较老，我们修改以下，使用比较新的版本：
还是在kubernetes/cluster/ubuntu文件夹下，打开download-release.sh文件，修改如下几行：

FLANNEL_VERSION=${FLANNEL_VERSION:-"0.5.5"}
ETCD_VERSION=${ETCD_VERSION:-"2.2.1"}
KUBE_VERSION=${KUBE_VERSION:-"1.1.7"}

保存上面两个文件。

下面就开始部署了，kubernetes的部署挺傻瓜的，首先进入kubernetes/cluster文件夹下，执行如下命令：

root# KUBERNETES_PROVIDER=ubuntu ./kube-up.sh

其中KUBERNETES_PROVIDER指明了在Ubuntu上部署集群。

运行此命令后，kubernetes首先根据指定的版本下载flanneld，etcd，kubernetes的可执行文件，由于国内网速较慢，可能需要一些时间，此后的工作会自动完成。

执行成功后，另外打开一个控制台，使用kubectl get nodes测试是否搭建成功：

chy@chy-station:~$ kubectl get nodes
NAME           LABELS                                STATUS    AGE
10.203.2.233   kubernetes.io/hostname=10.203.2.233   Ready     1h
10.203.2.239   kubernetes.io/hostname=10.203.2.239   Ready     1h
10.203.2.243   kubernetes.io/hostname=10.203.2.243   Ready     1h

以上信息表示集群搭建成功。

关闭集群是在kubernetes/cluster文件夹下执行

root# KUBERNETES_PROVIDER=ubuntu ./kube-down.sh

使用kubeadm部署k8s集群

参考：http://blog.51cto.com/newfly/2288088

不过要求的电脑能够翻墙。

以root用户ssh到每台机器上，运行：

apt-get update && apt-get install -y apt-transport-https curl
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
echo 'deb http://apt.kubernetes.io/ kubernetes-xenial main' >/etc/apt/sources.list.d/kubernetes.list
apt-get update
apt-get install -y  kubeadm
apt-get install -y kubelet kubeadm kubectl kubernetes-cni
#它会自动安装kubeadm、kubectl、kubelet、kubernetes-cni、socat

其中下面命令需要翻墙

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

可以分解为下面两步
1、curl -O https://packages.cloud.google.com/apt/doc/apt-key.gpg #该命令执行后会在当前目录下保存一个名称为nodesource.gpg.key的文件。
2、使用apt-key命令加载获取到的文件 apt-key add nodesource.gpg.key

后续参考：
https://www.jianshu.com/p/602c5bdbbd4d

http://windgreen.me/2018/02/23/%E5%9B%BD%E5%86%85%E4%BD%BF%E7%94%A8kubernetes%E8%B8%A9%E8%BF%87%E7%9A%84%E5%9D%91/

http://blog.51cto.com/newfly/2288088

手动安装部署k8s集群

下载etcd

在部署机上下载etcd

ETCD_VERSION=${ETCD_VERSION:-"3.3.9"}
ETCD="etcd-v${ETCD_VERSION}-linux-amd64"
curl -L https://github.com/coreos/etcd/releases/download/v${ETCD_VERSION}/${ETCD}.tar.gz -o etcd.tar.gz

tar xzf etcd.tar.gz -C /tmp
cd /tmp/etcd-v${ETCD_VERSION}-linux-amd64

for h in master node1 node2 node3 node4; do ssh user@$h mkdir -p '$HOME/kube' && scp -r etcd* user@$h:~/kube; done
for h in master node1 node2 node3 node4; do ssh user@$h 'sudo mkdir -p /opt/bin && sudo mv $HOME/kube/* /opt/bin && rm -rf $home/kube/*'; done

上面的代码要实现的目的就是到github上下载压缩包，然后scp到各个主机节点。所以你可以手动执行上面的操作。

手动到github上下载etcd release （https://github.com/etcd-io/etcd/releases） 的.tar.gz包，解压。通过scp复制 etcd 和etcdctl到各个主机（每台主机需要配置ssh）。然后复制到/opt/bin目录下。

root@localhost:/opt/bin# ls
Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md

配置etcd服务

在每台主机上，分别创建/opt/config/etcd.conf和/lib/systemd/system/etcd.service文件，（注意修改IP地址，和主机名）

/opt/config/etcd.conf

sudo mkdir -p /var/lib/etcd/
sudo mkdir -p /opt/config/
sudo  cat <<EOF |  sudo tee /opt/config/etcd.conf
ETCD_DATA_DIR=/var/lib/etcd
ETCD_NAME=etcd5
ETCD_INITIAL_CLUSTER=etcd5=http://10.107.20.5:2380,etcd6=http://10.107.20.6:2380,etcd7=http://10.107.20.7:2380,etcd8=http://10.107.20.8:2380,etcd9=http://10.107.20.9:2380
ETCD_INITIAL_CLUSTER_STATE=new
ETCD_LISTEN_PEER_URLS=http://10.107.20.5:2380
ETCD_INITIAL_ADVERTISE_PEER_URLS=http://10.107.20.5:2380
ETCD_ADVERTISE_CLIENT_URLS=http://10.107.20.5:2379
ETCD_LISTEN_CLIENT_URLS=http://10.107.20.5:2379,http://127.0.0.1:2379
GOMAXPROCS=$(nproc)
EOF

此处五台主机的ETCD_NAME为etcd 5-9，可修改ETCD_NAME为自己起得名字（相应的ETCD_INITIAL_CLUSTER中对应五个名字）。每台主机上修改ETCD_LISTEN_PEER_URLS、ETCD_INITIAL_ADVERTISE_PEER_URLS、ETCD_ADVERTISE_CLIENT_URLS、ETCD_LISTEN_CLIENT_URLS为本机的ip。

/lib/systemd/system/etcd.service

[Unit]
Description=Etcd Server
Documentation=https://github.com/coreos/etcd
After=network.target


[Service]
User=root
Type=simple
EnvironmentFile=-/opt/config/etcd.conf
ExecStart=/opt/bin/etcd
Restart=on-failure
RestartSec=10s
LimitNOFILE=40000

[Install]
WantedBy=multi-user.target

然后在每台主机上运行如下命令，将etcd加入开机服务并启动

sudo systemctl daemon-reload 
sudo systemctl enable etcd
sudo systemctl start etcd

部署K8s Master

下载Flannel

FLANNEL_VERSION=${FLANNEL_VERSION:-"v0.7.0"}
curl -L https://github.com/coreos/flannel/releases/download/v${FLANNEL_VERSION}/flannel-${FLANNEL_VERSION}-linux-amd64.tar.gz flannel.tar.gz
tar xzf  flannel.tar.gz -C /tmp

如etcd一般，可手动到github上下载，解压到/tmp。 https://github.com/coreos/flannel/releases

了解本专栏 订阅专栏 解锁全文
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

docker/k8s容器优雅退出(python，go，java)

全棧工程師開發手冊 （作者：欒鵬） 架構系列文章 注意：docker 正常退出和異常退出都不會自動發起SIGTERM，java正常或異常退出，jvm會發起SIGTERM信號 docker kill 直接殺死容器進程 docke

数据架构师 2020-06-20 08:49:31

ubuntu系统下hbase数据库的安装和使用，hbase配置文件详解

全棧工程師開發手冊 （作者：欒鵬） 架構系列文章 安裝 首先從http://www.apache.org/dyn/closer.cgi/hbase/下載穩定版安裝包，我下的是hbase-1.3.5-bin.tar.gz 2.解

数据架构师 2020-06-20 07:37:58

微服务架构系列文章、精品教程

数据架构师 2020-05-31 20:26:16

开源媒体标注系统cvat

数据架构师 2020-05-31 20:26:16

iptable详解概念

数据架构师 2020-04-19 06:46:52

airflow时区问题

数据架构师 2020-03-26 15:22:46

kubernetes 容器内获取Pod信息(包括：宿主主机IP)

数据架构师 2020-03-09 22:00:20

rancher中添加用户，赋予权限

数据架构师 2020-03-04 20:04:09

tshark抓包小结

数据架构师 2020-02-20 14:41:55

分布式SQL查询引擎---presto介绍,连接器

数据架构师 2020-02-20 14:41:55

Linkerd2安装和使用

数据架构师 2020-02-20 14:41:53

session 、cookie、token的区别及联系

数据架构师 2020-02-20 14:41:53

mac开启docker kubernetes

数据架构师 2020-02-20 14:41:53

Airflow集成在线编写创建dag的插件

数据架构师 2020-02-20 14:41:53

docker/k8s容器优雅退出(python，go，java)

全棧工程師開發手冊 （作者：欒鵬） 架構系列文章 注意：docker 正常退出和異常退出都不會自動發起SIGTERM，java正常或異常退出，jvm會發起SIGTERM信號 docker kill 直接殺死容器進程 docke

数据架构师 2020-06-20 08:49:31