基于现有Kubernetes集群使用Rook部署Ceph集群

一、前言

本片文章主要是基于现有的k8s集群环境使用Rook部署Ceph集群

Rook官方文档：https://rook.github.io/docs/rook/v1.6/

环境版本信息：k8s版本为1.21.0; Rook版本为：v1.6

集群基础配置要求：内存不低于5G，CPU不低于2核

二、概念介绍：

2.1、什么是Rook

Rook是一个开源的云原生存储编排器，可将存储软件转换为自我管理、自我扩展、自我修复的存储服务，且支持的存储系统包括Ceph、NFS、EdgeFS、CockroachDB、YugabyteDB。本文以Ceph为例，主要介绍Rook概念和框架的部署

Rook-Ceph架构

关于Ceph

Ceph是一款开源，高度可扩展的分布式存储解决方案，用于有多年生产的块存储，共享文件存储和对象存储。主要由以下组件组成：

MON(Ceph监视器)负责集群监控，所有集群节点都要向MON报告，并共享有关其状态变更信息
OSD（Ceph对象存储设备）负责存储对象并通过网络提供访问入口
MGR（Ceph Manager）提供额外的监视和与外部管理系统连接的接口
RADOS（可靠的自制分布式对象存储）是Ceph集群的核心，RADOS确保所存储的数据始终与数据复制，故障检测和恢复保持一致
RBD（RADOS块设备）现在称为Ceph块设备，提供了持久化块存储，它是精简配置的，可调整大小，并存储在多个OSD节点条带化数据
RGW(RADOS网关)是提供对象存储服务的接口，它使用libRGW（RGW库）和libRADOS来与应用程序之间的Ceph对象存储建立连接。RGW提供了与Amazon S3和OpenStack Swift兼容的RESTful API。
CephFS是提供POSIX兼容文件系统的Ceph文件系统，CephFS使用Ceph集群存储用户数据
MDS跟踪文件层次结构，并仅存储CephFS的元数据

Ceph Rook

Rook operator是一个简单的容器，主要主要引导和监视存储集群所需要的全部内容，operator启动并监视Ceph守护程序Pod，例如MON、OSD、MGR等。还监视守护程序以确保集群运行状态良好，Ceph MON在必要时启动或者故障转移；

Ceph CSI（容器存储接口）是一种标准，用于将任意块和文件存储系统暴露给容器编排系统（如Kubernetes）上的容器化工作负载。Ceph CSI与Rook集成在一起，并支持三种方案 RBD（块存储）：
RBD（块存储）：此驱动程序针对RWO pod访问进行了优化，其中只有一个pod可以访问存储
CephFS(文件共享存储)：此驱动程序允许一个pod或者多个pod的RWX访问同一个存储
对于对象存储，Rook支持创建新存储桶以及通过两个自定义资源访问现有存储桶：对象存储桶声明（OBC）和对象存储桶（OB）。应用程序可以通过RGW访问对象

三、Rook环境部署

3.1、拉取rook官方安装文件

#git clone --single-branch --branch v1.6.11 https://github.com/rook/rook.git

#cd rook/cluster/examples/kubernetes/ceph

#kubectl create -f crds.yaml -f common.yaml #创建RBAC相关secrets权限 、rook的crd组件，主要用于管理控制Ceph集群

3.2、创建operator yaml文件

修改Rook CSI 镜像地址，默认地址可能是gcr国外镜像，在国内无法正常访问，因此需要同步gcr镜像到阿里云镜像仓库或者其他本地仓库
#root@k8s-master01 rook]# vim cluster/examples/kubernetes/ceph/operator.yaml

#root@k8s-master01 rook]# kubectl create -f  cluster/examples/kubernetes/ceph/operator.yaml

四、部署Ceph集群

PS: 要保证operator容器和discover 容器都启动完毕之后再开始创建Ceph集群

4.1、创建cluster集群，并修改其yaml配置文件

#root@k8s-master01 rook]# vim cluster/examples/kubernetes/ceph/cluster.yaml

配置OSD磁盘存储设备(配置OSD存储节点，name不能配置IP，而应该是标签kubernetes.io/hostname的内容)

#[root@k8s-master01 rook]# kubectl create -f cluster/examples/kubernetes/ceph/cluster.yaml 
[root@k8s-master01 rook]# kubectl get cephcluster -n rook-ceph
NAME        DATADIRHOSTPATH   MONCOUNT   AGE   PHASE   MESSAGE                        HEALTH        EXTERNAL
rook-ceph   /var/lib/rook     3          8d    Ready   Cluster created successfully   HEALTH_WARN

4.2、部署Ceph snapshot控制器

rook snapshot官方文档：https://rook.io/docs/rook/v1.6/ceph-csi-snapshot.html

[root@k8s-master01 rook]#cd /root/k8s-ha-install
[root@k8s-master01 k8s-ha-install]# git remote -v
origin https://github.com/dotbalo/k8s-ha-install.git (fetch)
origin https://github.com/dotbalo/k8s-ha-install.git (push)
[root@k8s-master01 k8s-ha-install]# git checkout manual-installation-v1.21.x
[root@k8s-master01 k8s-ha-install]# git branch
* manual-installation-v1.21.x
master
[root@k8s-master01 k8s-ha-install]# kubectl create -f snapshotter/ -n kube-system
[root@k8s-master01 k8s-ha-install]# kubectl get pod -n kube-system -l app=snapshot-controller

五、部署Ceph客户端工具

对于Ceph集群维护者，推荐两个维护方法

Toolbox+Ceph CLI：推荐的方法是在Rook Toolbox终端执行命令
Ceph 仪表盘：使用Ceph dashboard

[root@k8s-master01 rook]# cd cluster/examples/kubernetes/ceph

[root@k8s-master01 ceph]# kubectl create -f toolbox.yaml -n rook-ceph #创建tools pod 客户端
[root@k8s-master01 ceph]# kubectl get pod -n rook-ceph -l app=rook-ceph-tools #检查tools容器是否正常启动
NAME READY STATUS RESTARTS AGE
rook-ceph-tools-fc5f9586c-mql8d 1/1 Running 0 66s
[root@k8s-master01 ceph]# kubectl -n rook-ceph exec -it deployment/rook-ceph-tools -- bash #进入tools容器
[root@rook-ceph-tools-fc5f9586c-mql8d /]# ceph status
cluster:
id: d6b21555-bfc5-4aa8-a5bc-2e9ab0cfc3ec
health: HEALTH_WARN　　#警告信息可以暂且忽略，后面可以去掉，这个信息提示允许一个不安全的端口对mons进行一个操作
mons are allowing insecure global_id reclaim
Reduced data availability: 1 pg inactive
OSD count 0 < osd_pool_default_size 3
services:
mon: 3 daemons, quorum a,b,c (age 2h)
mgr: a(active, since 2h)
osd: 3 osds: 3 up (since 2m), 3 in (since 2m)
data:
pools: 1 pools, 1 pgs
objects: 0 objects, 0 B
usage: 3.0 GiB used, 57 GiB / 60 GiB avail
pgs: 1 active+clean
[root@rook-ceph-tools-fc5f9586c-f6wgr /]# ceph osd status
ID HOST USED AVAIL WR OPS WR DATA RD OPS RD DATA STATE
0 k8s-master03 1030M 18.9G 0 0 0 0 exists,up
1 k8s-node01 1030M 18.9G 0 0 0 0 exists,up
2 k8s-node02 1030M 18.9G 0 0 0 0 exists,up
[root@rook-ceph-tools-fc5f9586c-f6wgr /]# ceph df

六、配置Ceph Dashboard

默认情况下，Ceph已经存在service，默认是CLuster IP类型，无法在K8s节点之外的主机访问，虽然可以修改成NodePort不建议直接对其修改成NodePort，因此需要新建一个service，并改成Nodeport类型，对外开放

[root@k8s-master01 ceph]# vim dashboard-ceph.yaml
apiVersion: v1
kind: Service
metadata:
  labels:
    app: rook-ceph-mgr
    ceph_daemon_id: a
    rook_cluster: rook-ceph
  name: rook-ceph-mgr-dashboard-np
  namespace: rook-ceph
spec:
  ports:
  - name: http-dashboard
    port: 7000
    protocol: TCP
    targetPort: 7000
  selector:
    app: rook-ceph-mgr
    ceph_daemon_id: a
    rook_cluster: rook-ceph
  sessionAffinity: None
  type: NodePort

[root@k8s-master01 ceph]# kubectl create -f  dashboard-ceph.yaml

查看rook-ceph命名空间下的secret的密码信息，并通过json结合based64进行解码解密获取登录CEPH平台的密码

[root@k8s-master01 ceph]# kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo
QW=@c}Xn2Ol4.14B}4Tu

七、验证

这里直接指定节点IP+暴露的端口即可访问该ceph

PS：登录之后会状态这里会有警告信息，按照ceph官方文档上可处理掉

解决当前ceph界面警告信息

登录到toos客户端，执行该命令即可解决警告信息

[root@k8s-master01 ceph]# kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash
[root@rook-ceph-tools-fc5f9586c-f6wgr /]# ceph config set mon auth_allow_insecure_global_id_reclaim false1se

END！

基于现有Kubernetes集群使用Rook部署Ceph集群

DAPPER 事务 TRANSACTION

基於k8s環境部署RabbitMQ集羣

基於Ingress 實現集羣服務訪問

通過非雲原生監控Exporter 監控MySQL數據庫

雲原生應用Etcd監控

基於現有的Kubernetes集羣部署Prometheus監控

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結