CentOS 安裝ceph

一、在3臺主機分別進行修改主機名

需要修改以下兩個配置文件
1、方法一使用hostnamectl命令
[root@ceph1 ~]# hostnamectl set-hostname ceph1

2、方法二：修改配置文件 /etc/hostname 保存退出
[root@ceph1 ~]# vi /etc/hostname
ceph1

三臺主機名分別ceph1、ceph2、ceph3

二、 安裝Ceph ，準備repo

在ceph1、ceph2、ceph3上分別進行以下步驟:
a.設置代理
在/etc/profile末尾添加代理地址後重啓系統
export http_proxy=http://proxyxxx.com:911
export ftp_proxy=http://proxyxxx.com:911
export HTTP_proxy=http://xxx.intel.com:911
export FTP_proxy=http://xxx.intel.com:911

b.在所有ceph節點上準備下面的源
yum clean all
cp –rf /etc/yum.repos.d/ /root/Desktop/yum.repos.d_backup
rm -rf /etc/yum.repos.d/*.repo
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i ‘/aliyuncs/d’ /etc/yum.repos.d/CentOS-Base.repo
sed -i ‘/aliyuncs/d’ /etc/yum.repos.d/epel.repo
sed -i ‘s/$releasever/7/g’ /etc/yum.repos.d/CentOS-Base.repo

c.創建ceph.repo源
touch /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
priority=1

[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
priority=1

d.升級所有包同時也升級軟件和系統內核
yum update –y

三、操作系統配置

a:無密碼訪問配置
在deploy節點(ceph1)上執行。配置deploy節點和其他ceph節點之間的無密碼訪問。
[root@ceph1 ceph]# ssh-keygen （一直回車即可）
[root@ceph1 ceph]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@ceph2 （根據提示輸入ceph2的root密碼）
[root@ceph1 ceph]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@ceph3（根據提示輸入ceph3的root密碼）

b:啓用Ceph monitor OSD端口，在所有ceph節點上執行
firewall-cmd --zone=public --add-port=6789/tcp --permanent
firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent \ 添加防火牆策略
firewall-cmd --reload \使其防火牆策略生效
firewall-cmd --zone=public --list-all

c:禁用Selinux，在所有ceph節點上執行

1. 臨時禁用
   setenforce 0
   2.永久禁用

重啓系統使其生效
[root@ceph1 ceph]# getenforce
Disabled
d:安裝ntp，在所有ceph節點上執行
yum install ntp ntpdate -y
systemctl restart ntpd.service
systemctl enable ntpd.service ntpdate.service

四、部署Ceph集羣

1:安裝ceph-deploy（在ceph1/ceph2/ceph3上分別執行）
  yum install ceph-deploy -y

2:用Ceph-deploy創建Ceph集羣（在ceph1上分別執行）
  mkdir /etc/ceph
  cd /etc/ceph
  ceph-deploy new ceph-node1
  生成一個新的ceph集羣，集羣包括ceph配置文件以及monitor的密鑰環。

3:安裝ceph二進制軟件包（在ceph1/ceph2/ceph3上分別執行）
  ceph1上執行   ceph-deploy install --no-adjust-repos ceph1 
  ceph2上執行   ceph-deploy install --no-adjust-repos ceph2
  ceph3上執行   ceph-deploy install --no-adjust-repos ceph3
#4:修改ceph 配置文件systemctl 

5:在ceph1上創建第一個ceph monitor
  ceph-deploy mon create-initial

6:在ceph1上創建OSD
  ceph-deploy disk list ceph1(列出disk）
  ceph-deploy disk list ceph2       
  ceph-deploy disk list ceph3

  ceph-deploy disk zap ceph1:nvme0n1
  ceph-deploy disk zap ceph2:nvme0n1
  ceph-deploy disk zap ceph3:nvme0n1

  ceph-deploy osd create ceph1:nvme0n1
  ceph-deploy osd create ceph2:nvme0n1
  ceph-deploy osd create ceph3:nvme0n1
 
 7:在ceph1上調整rbd存儲池的pg_num和pgp_num
  ceph osd pool set rbd pg_num 256
  ceph osd pool set rbd pgp_num 256