Ceph優化總結
參考文章：
https://www.jianshu.com/p/dd572541df2e
https://blog.csdn.net/fuzhongfaya/article/details/80932766
一. 硬件層面
硬件規劃
SSD選擇
BIOS設置
1、 CPU
ceph-osd進程在運行過程中會消耗CPU資源，所以一般會爲每一個ceph-osd進程綁定一個CPU核上。
ceph-mon進程並不十分消耗CPU資源，所以不必爲ceph-mon進程預留過多的CPU資源。
ceph-msd也是非常消耗CPU資源的，所以需要提供更多的CPU資源。
2、 內存
ceph-mon和ceph-mds需要2G內存，每個ceph-osd進程需要1G內存。
3、 網絡
萬兆網絡現在基本上是跑Ceph必備的，網絡規劃上，也儘量考慮分離cilent和cluster網絡。網絡接口上可以使用bond來提供高可用或負載均衡。
4、 SSD
SSD在ceph中的使用可以有幾種架構
a、 ssd作爲Journal
b、 ssd作爲高速ssd pool(需要更改crushmap)
c、 ssd做爲tier pool
5、 BIOS
a、 開啓VT和HT，VH是虛擬化雲平臺必備的，HT是開啓超線程單個處理器都能使用線程級並行計算。
b、 關閉節能設置，可有一定的性能提升。
c、 NUMA思路就是將內存和CPU分割爲多個區域，每個區域叫做NODE,然後將NODE高速互聯。 node內cpu與內存訪問速度快於訪問其他node的內存， NUMA可能會在某些情況下影響ceph-osd 。解決的方案，一種是通過BIOS關閉NUMA，另外一種就是通過cgroup將ceph-osd進程與某一個CPU Core以及同一NODE下的內存進行綁定。但是第二種看起來更麻煩，所以一般部署的時候可以在系統層面關閉NUMA。CentOS系統下，通過修改/etc/grub.conf文件，添加numa=off來關閉NUMA。
二. 軟件層面
Linux OS
Ceph Configurations
PG Number調整
CRUSH Map
其他因素
1、 Kernel pid max
echo 4194303 > /proc/sys/kernel/pid_max
2、 設置MTU，交換機端需要支持該功能，系統網卡設置纔有效果
配置文件追加MTU=9000
3、 read_ahead, 通過數據預讀並且記載到隨機訪問內存方式提高磁盤讀操作
echo “8192” > /sys/block/sda/queue/read_ahead_kb
4、 swappiness, 主要控制系統對swap的使用
echo “vm.swappiness = 0”/etc/sysctl.conf ; sysctl –p
5、 I/O Scheduler，SSD要用noop，SATA/SAS使用deadline
echo “deadline” >/sys/block/vd[x]/queue/scheduler
echo “noop” >/sys/block/vd[x]/queue/scheduler
6、 ceph.conf配置選項
[global]#全局設置
fsid = 41a38739-fb23-469c-b504-5c934ffe6026 #集羣標識ID
mon initial members = ceph1,ceph2,ceph3 #初始monitor (由創建monitor命令而定)
mon host = ip1,ip2,ip3 #monitor IP 地址
auth cluster required = cephx #集羣認證
auth service required = cephx #服務認證
auth client required = cephx #客戶端認證
osd pool default size = 2 #最小副本數
osd pool default min size = 1 #PG 處於 degraded 狀態不影響其 IO 能力,min_size是一個PG能接受IO的最小副本數
osd pool default pg num = 128 #pool的pg數量
osd pool default pgp num = 128 #pool的pgp數量
public network = 10.0.1.0/24 #公共網絡(monitorIP段)
cluster network = 10.0.1.0/24 #集羣網絡
#max open files = 131072 #默認0#如果設置了該選項，Ceph會設置系統的max open fds 註釋掉使用系統默認優化過的
##############################################################
[mon]
mon data = /var/lib/ceph/mon/ceph-$id
mon clock drift allowed = 1 #默認值0.05#monitor間的clock drift
mon osd min down reporters = 3 #默認值1#向monitor報告down的最小OSD數
mon osd down out interval = 600 #默認值300 #標記一個OSD狀態爲down和out之前ceph等待的秒數
##############################################################
[osd]
osd data = /var/lib/ceph/osd/ceph-$id
osd journal size = 20000 #默認5120 #osd journal大小
osd journal = /var/lib/ceph/osd/$cluster-$id/journal #osd journal 位置
osd mkfs type = xfs #格式化系統類型（當Ceph掛載一個OSD時）
osd mkfs options xfs = -f -i size=2048 #強制格式化
osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默認值rw,noatime,inode64 #Ceph OSD xfs Mount選項
filestore xattr use omap = true #默認false #爲XATTRS使用object map，EXT4文件系統時使用，XFS或者btrfs也可以使用
filestore min sync interval = 10 #默認0.1 #從日誌到數據盤最小同步間隔(seconds)
filestore max sync interval = 15 #默認5 #從日誌到數據盤最大同步間隔(seconds)
filestore queue max ops = 25000 #默認500 #在阻塞新operation加入隊列之前，數據盤最大接受的操作數
filestore queue max bytes = 1048576000 #默認100 #數據盤一次操作最大字節數(bytes)
filestore queue committing max ops = 50000 #默認500 #數據盤能夠commit的操作數
filestore queue committing max bytes = 10485760000 #默認100 #數據盤能夠commit的最大字節數(bytes)10G
filestore split multiple = 8 #默認值2 #前一個子目錄分裂成子目錄中的文件的最大數量
filestore merge threshold = 40 #默認值10 #前一個子類目錄中的文件合併到父類的最小數量
filestore fd cache size = 1024 #默認值128 #對象文件句柄緩存大小
journal max write bytes = 1073714824 #默認值1048560 #journal一次性寫入的最大字節數(bytes)
journal max write entries = 10000 #默認值100 #journal一次性寫入的最大記錄數
journal queue max ops = 50000 #默認值50 #journal一次性最大在隊列中的操作數
journal queue max bytes = 10485760000 #默認值33554432 #journal一次性最大在隊列中的字節數(bytes)10G
osd max write size = 512 #默認值90 #OSD一次可寫入的最大值(MB)
osd client message size cap = 2147483648 #默認值100 #客戶端允許在內存中的最大數據(bytes)2G
osd deep scrub stride = 131072 #默認值524288 #在Deep Scrub時候允許讀取的字節數(bytes)
osd op threads = 16 #默認值2 #併發文件系統操作數
osd disk threads = 4 #默認值1 #OSD密集型操作例如恢復和Scrubbing時的線程
osd map cache size = 1024 #默認值500 #保留OSD Map的緩存(MB)
osd map cache bl size = 128 #默認值50 #OSD進程在內存中的OSD Map緩存(MB)
osd recovery op priority = 2 #默認值10 #恢復操作優先級，取值1-63，值越高佔用資源越高
osd recovery max active = 10 #默認值15 #同一時間內活躍的恢復請求數
osd max backfills = 4 #默認值10 #一個OSD允許的最大backfills數
osd min pg log entries = 30000 #默認值3000 #修建PGLog是保留的最大PGLog數
osd max pg log entries = 100000 #默認值10000 #修建PGLog是保留的最大PGLog數
osd mon heartbeat interval = 40 #默認值30 #OSD ping一個monitor的時間間隔（默認30s）
ms dispatch throttle bytes = 1048576000 #默認值 104857600 #等待派遣的最大消息數
objecter inflight ops = 819200 #默認值1024 #客戶端流控，允許的最大未發送io請求數，超過閥值會堵塞應用io，爲0表示不受限
osd op log threshold = 50 #默認值5 #一次顯示多少操作的log
osd crush chooseleaf type = 0 #默認值爲1 #CRUSH規則用到chooseleaf時的bucket的類型
##############################################################
[client]
rbd cache = true #默認值 true #RBD緩存
rbd cache size = 335544320 #默認值33554432 #RBD緩存大小(bytes)
rbd cache max dirty = 134217728 #默認值25165824 #緩存爲write-back時允許的最大dirty字節數(bytes)，如果爲0，使用write-through
rbd cache max dirty age = 30 #默認值1 #在被刷新到存儲盤前dirty數據存在緩存的時間(seconds)
rbd cache writethrough until flush = false #默認值true #該選項是爲了兼容linux-2.6.32之前的virtio驅動，避免因爲不發送flush請求，數據不回寫
#設置該參數後，librbd會以writethrough的方式執行io，直到收到第一個flush請求，才切換爲writeback方式。
rbd cache max dirty object = 2 #默認值0 #最大的Object對象數，默認爲0，表示通過rbd cache size計算得到，librbd默認以4MB爲單位對磁盤Image進行邏輯切分
#每個chunk對象抽象爲一個Object；librbd中以Object爲單位來管理緩存，增大該值可以提升性能pid_max
rbd cache target dirty = 235544320 #默認值16777216 #開始執行回寫過程的髒數據大小，不能超過 rbd_cache_max_dirty
7、 PG Number
PG和PGP數量一定要根據OSD的數量進行調整，計算公式如下，但是最後算出的結果一定要接近或者等於一個2的指數。
Total PGs = （(Total_number_of_OSD * 100) / max_replication_count ）/ pool_count
例：
有100個osd，2副本，5個pool
Total PGs =100*100/2=5000
每個pool 的PG=5000/5=1000，那麼創建pool的時候就指定pg爲1024
ceph osd pool create pool_name 1024
8、 修改crush map
Crush map可以設置不同的osd對應到不同的pool，也可以修改每個osd的weight
配置可參考：http://linuxnote.blog.51cto.com/9876511/1790758
9、 其他因素
ceph osd perf
通過osd perf可以提供磁盤latency的狀況，如果延時過長，應該剔除osd