开篇
本期视频，我们一起来手把手的搭建实验环境。为了节省资源，我们部署 All-In-One K8S环境，也就是所有 kubernetes 资源，运行在一台服务器上。
视频直达
第一部分视频
第二部分视频
安装工具
开始动手之前，我们来介绍两款工具，kubekey 和 k9s。
“kubeykey 是 KubeSphere 团队基于 GoLang 语言开发的kubernetes集群部署工具，使用 KubeKey，您可以轻松、高效、灵活地单独安装和管理 Kubernetes，当然如果你部署 Kubesphere 也是非常方便的。
”
“k9s是一款命令行下的 k8s 集群管理工具，可以非常有效地提高你对 k8s的管理效率。本次分享我们对k8s 资源的观察和操作，就是通过 k9s来实现的。
”
1. 安装 kubekey
kubekey release[1]
cd $HOME/kubekey
# 下载最新稳定版
wget https://github.com/kubesphere/kubekey/releases/download/v1.1.1/kubekey-v1.1.1-linux-amd64.tar.gz
# 解压缩
tar zxvf kubekey-v1.1.1-linux-amd64.tar.gz
# 删除说明文档
rm -rf README.md README_zh-CN.md kubekey-v1.1.1-linux-amd64.tar.gz
2.安装 k9s
k9s release[2]
cd $HOME
# 下载最新稳定版
wget https://github.com/derailed/k9s/releases/download/v0.24.15/k9s_Linux_x86_64.tar.gz
# 解压缩
tar zxvf k9s_Linux_x86_64.tar.gz
# 删除多余文件
rm -rf LICENSE README.md k9s_Linux_x86_64.tar.gz
部署k8s 环境
1. 生成 kubekey 配置
“kubekey 通过 KKZONE 这个环境变量，来决定使用哪些容器镜像仓库，从而提高镜像资源的下载效率。
”
cd $HOME/kubekey
export KKZONE=cn
# 创建集群配置，集群名称为 monday
./kk create config --name monday
2. 修改配置
# 修改配置如下
apiVersion: kubekey.kubesphere.io/v1alpha1
kind: Cluster
metadata:
name: monday
spec:
hosts:
- {name: tm-opsinit-01, address: 10.10.14.99, internalAddress: 10.10.14.99}
roleGroups:
etcd:
- tm-opsinit-01
master:
- tm-opsinit-01
worker:
- tm-opsinit-01
controlPlaneEndpoint:
domain: monday-api.automan.fun
address: ""
port: 6443
kubernetes:
version: v1.19.8
imageRepo: kubesphere
clusterName: cluster.local
network:
plugin: calico
kubePodsCIDR: 10.233.64.0/18
kubeServiceCIDR: 10.233.0.0/18
registry:
registryMirrors: []
insecureRegistries: []
addons: []
3. 修改 docker 配置
“”
docker daemon默认创建的docker0网桥，使用172.17.0.0网段地址，如果你的服务器使用的172.17.0.0的网段，可以通过修改docker daemon的配置来修改docker0网桥的地址段，避免地址冲突。
# /etc/docker/daemon.json
{
"log-opts": {
"max-size": "5m",
"max-file":"3"
},
"exec-opts": ["native.cgroupdriver=systemd"],
"bip":"192.168.0.1/24"
}
修改完配置后，如果服务器上已安装docker服务，执行如下命令重载配置。如无运行docker服务，请忽略。
systemctl daemon-reload && systemctl restart docker
4. 创建集群
“创建集群前，有三个点需要检查：
”
-
禁用 selinux -
禁用防火墙 -
安装相关系统级依赖
# 临时禁用 selinux
setenforce 0
sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
# 禁用防火墙
systemctl disable firewalld && systemctl stop firewalld && systemctl status firewalld
# 安装系统依赖
yum install socat conntrack ebtables ipset
# 创建集群
./kk create cluster -f config-monday.yaml
5. 安装客户端
“k8s 集群部署好后，我们来安装相关
”kubectl管理工具。
# 添加 k8s yum 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装 kubectl
yum install -y kubectl
# k8s 命令行参数很多，可以通过 bash-completion 来自动补全命令
# 命令行代码补全
yum install bash-completion -y
echo "source <(kubectl completion bash)" >> ~/.bashrc
source ~/.bashrc
部署 OpenELB
集群中的应用，如果要在集群外部访问，可以采用NodePort 方式暴露服务，也可以采用 LoadBalancer 的方式。为了更好的模拟生产环境，咱们使用 LoadBalancer 的方式暴露服务。OpenELB是由 Kubesphere 团队开发的支持裸金属服务器提供LoadBalancer类型服务的工具。具体功能细节就不额外讲解，大家可以自行参考官方文档。国人主导开发的工具，中文支持非常好。
Github: https://github.com/kubesphere/openelb
# 一条命令安装 porter
kubectl apply -f https://raw.githubusercontent.com/kubesphere/porter/master/deploy/porter.yaml
我们实验中使用OpenLB的layer2模式。这种模式需要配置一些集群主机网段的空地址，也就是说这些IP不能绑定物理网卡。OpenLB提供 Eip 这个CRD来配置这些空 IP。为什么需要这样的 IP 呢？我们来简单讲解下 Layer2 模式的原理。
“当外部有流量请求某个空
”IP时，路由器会发出ARP广播报文，也就是到集群服务器网段内询问，数据要发给谁。显然不会有任何一个主机响应，此时，OpenLB的port-manager就会相应这个 ARP 报文。通过这种ARP报文欺骗的黑客手段，实现流量的劫持。剩下的步骤，就由PortLB来转发流量到相应的Service中。
PortLB 的 Layer2 模式，就是这样工作的。
apiVersion: network.kubesphere.io/v1alpha2
kind: Eip
metadata:
name: eip-pool
spec:
address: 10.10.14.91-10.10.14.92
protocol: layer2
interface: ens192
disable: false
# 10.10.14.87-10.10.14.88
部署 nginx-ingress
“”
OpenLB可以方便地暴露4 层协议，比如TCP协议等等，但在7 层协议中的一些操作，就无能为力啦，比如卸载 https 证书，路由分发等等。
nginx-ingress install guide[3]
# 1. 应用配置清单
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.0.0/deploy/static/provider/cloud/deploy.yaml
# 2. 修改 service 类型为 LoadBalancer
# 3. service.metadata.annotations 中指定 OpenELB 配置
lb.kubesphere.io/v1alpha1: porter
protocol.porter.kubesphere.io/v1alpha1: layer2
# PortLB 就是通过这两条 annotation 信息来识别要提供服务的 Service 的
openEBS
Kubernates 集群中，对于有状态应用，需要申请PV支持。openEBS支持把节点主机的文件系统映射为存储服务，这对我们的 All In One 实验来说，是个非常好的支持。
安装 helm
“OpenEBS 官方支持 helm 安装，所以我们首先安装 helm 命令行工具。
”
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
echo 'PATH=$PATH:/usr/local/bin' >> ~/.bashrc && source ~/.bashrc
安装 openebs
helm repo add openebs https://openebs.github.io/charts
helm repo update
helm install openebs --namespace openebs openebs/openebs --create-namespace
验证 hostpath
# /var/openebs/local
kubectl apply -f https://openebs.github.io/charts/examples/local-hostpath/local-hostpath-pvc.yaml
kubectl apply -f https://openebs.github.io/charts/examples/local-hostpath/local-hostpath-pod.yaml
安装 metric server
kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
# bx509: cannot validate certificate for because it doesn't contain any IP SANs"
# metric server deployment args
# 添加
# - --kubelet-insecure-tls
总结
“到这里，我们的实验环境就搭建完成啦；涉及到的知识点非常多，因为搭建集群并非我们课程的主要内容，就不继续给大家扩展知识了。如果有疑问或者遇到什么问题，可以留言或到我们的社区群众交流群中，一起探讨。
”
给大家留个作业：再找一台服务器，按照本节课的步骤，部署另外一套 kubernates集群，集群名叫 tuesday。后面咱们实验多集群管理时，会用到。
“下期视频，我们将部署 ArgoCD 并且跑个官方 demo 让大家感受一下。
”
参考资料
kubekey release: https://github.com/kubesphere/kubekey/releases
[2]k9s release: https://github.com/derailed/k9s/releases
[3]nginx-ingress install guide: https://kubernetes.github.io/ingress-nginx/deploy/
本文分享自微信公众号 - Jenkins（Jenkins-Community）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。