原创 編輯Crush map

編輯Crush map 1、獲取 Crush map 大部分情況下創建集羣成功後,對應的Crush map已經由系統自動生成,可以通過如下命令獲取: ceph osd getcrushmap -o {compiled-crushm

原创 調整reweight

手動調整 1、首先查看集羣的空間利用率統計 ceph osd df tree 2、找到空間利用率較高的OSD,然後逐個進行調整 ceph osd reweight {osd_numeric_id} {reweight} 上述命令中

原创 PG的定位和主要職責

在Ceph中,PG的定位或者說主要職責如下: 1、作爲存儲池的基本組成單位,負責執行存儲池所綁定的副本策略; 2、以OSD作爲單位,進行副本分佈,將前端應用任何針對PG中原始數據的操作,轉化爲OSD本地對象存儲所能理解的事務操作,

原创 PG外部狀態

Activating:Peering已經完成,PG正在等待所有PG實例同步並固化Peering的結果(info、Log等); Active:PG可以正常處理來自客戶端的讀寫請求; Backfilling:PG正在執行Backfil

原创 Ceph集羣定時Scrub

1、背景: Ceph集羣會定時進行Scrub操作,在Ceph對接OpenStack的場景中,如果Ceph集羣正在進行Scrub操作,會對Scrub的數據進行加鎖,如果OpenStack使用Ceph作爲後端存儲的虛擬機此時也在訪問該

原创 Ceph對可用存儲空間的校驗與控制

Ceph一共使用了四個配置對可用存儲空間進行校驗並實施控制,如下: mon_osd_full_ratio:集羣中的任一OSD空間使用率大於等於此數值時,集羣將被標記爲Full,此時集羣將停止接受來自客戶端的寫入請求; mon_os

原创 Ceph osd啓動報錯osd init failed (36) File name too long

1、問題現象: 在Ceph的OSD節點上,啓動OSD進程失敗,在其日誌中看到如下報錯信息: 2017-02-14 16:26:13.558535 7fe3883f58c0 0 filestore(/var/lib/ceph/osd/

原创 rbd刪除image報:rbd: error: image still has watchers

1、解決思路: 遇到有image無法刪除的情況,一般有以下兩種原因: a、由於image下有快照信息,只需要先將快照信息刪除,然後就可以刪除該image了; b、該image正在被另一個客戶端訪問,具體表現爲該image中有watch

原创 由於object大小與oi size大小不一致導致pg inconsistent

1、問題現象: ceph -s 集羣出現pg inconsistent錯誤,ceph pg repair無法修復,查看日誌,報錯信息如下: log [ERR] : 3.f80 repair 1 missing, 0 inconsis

原创 測試:找出在ceph中存放的數據

1、創建測試文件test.txt echo "hello world" > test.txt 2、將文件寫入到pool中: rados -p abc put object1 test.txt rados ls -p abc 3、查

原创 查看rbd塊實際佔用的空間

使用如下命令查看: [root@ceph-1 ~]# rbd diff volume -p abc | awk '{ SUM += $2 } END { print SUM/1024/1024 " MB" }' 0 MB

原创 14 requests are blocked > 32 sec; 11 osds have slow requests

1、問題現象: ceph -s HEALTH_WARN 14 requests are blocked > 32 sec; 11 osds have slow requests 2、問題分析: ceph health detail

原创 使用ceph-ansible完成ceph L版本的部署

1、配置/etc/hosts文件 vim /etc/hosts 2、配置yum源,保證部署過程中能夠安裝ceph,可以先驗證一下yum源是否能夠使用 yum -y install ceph 3、安裝ceph-ansible ans

原创 查看磁盤是ssd還是hdd

cat /sys/block/vda/queue/rotational 返回值0:ssd盤 返回值1:hdd盤

原创 ceph數據recovery配置策略

1、背景 在ceph集羣中,如果ceph集羣出現OSD的out或者in(增加、刪除、上線、下線OSD等情況),最終都會導致ceph集羣中的數據遷移及數據重建,數據遷移及重建會佔用一部分網絡帶寬及磁盤帶寬,此時就可能導致出現block(