Tags： 重啓K8S節點部分pvc不能正常掛載
重啓K8S節點部分pvc不能正常掛載
===
在本文中重點講一下重啓K8S節點之後部分pvc不能正常掛載的解決方案；
1. 故障發生：
我們一臺k8s計算節點出現故障，強制重啓之後，有一個gitlab的pod啓動的時候，通過kubectl describe pods gitlab查看的日誌總是有報錯：
Multi-Attach error for volume "pvc-76b54b6c-df46-11e7-a2f0-005056b12f99" Volume is already exclusively attached to one node and can't be attached to another 2. 故障處理：
查看pv對應哪個rbd image,這個命令在安裝kubectl命令的k8s節點執行
kubectl get pv pvc-1557d839-714f-11e9-8d1a-5065f3457c8c -o go-template='{{.spec.rbd.image}}'
根據上一步輸出的結果，在ceph節點上面查看rbd image的watcher，-p指定pool
sudo rbd status kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56 -p kube根據輸出的結果，登錄到那臺機器上面，在查看rbd images mapped關係
sudo rbd showmapped | kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56最後一步，根據上一步命令的執行結果，在這臺機器上面卸載rdb imags
sudo rbd unmap /dev/rbd8然後再重啓pod，發現pvc可以正常掛載了；
博文的更詳細內容請關注我的個人微信公衆號 “雲時代IT運維”,本公衆號旨在共享互聯網運維新技術，新趨勢； 包括IT運維行業的諮詢，運維技術文檔分享。重點關注devops、jenkins、zabbix監控、kubernetes、ELK、各種中間件的使用，比如redis、MQ等；shell和python等運維編程語言；本人從事IT運維相關的工作有十多年。2008年開始專職從事Linux/Unix系統運維工作；對運維相關技術有一定程度的理解。本公衆號所有博文均是我的實際工作經驗總結，基本都是原創博文。我很樂意將我積累的經驗、心得、技術與大家分享交流！希望和大家在IT運維職業道路上一起成長和進步；
