mds備用的全部無法重啓mds unable to obtain rotating service keys; retrying

問題：ceph集羣突然mds全都無法啓動，查詢日誌報錯mds unable to obtain rotating service keys; retrying。
分析：節點時間不一致，ceph不但要求系統時間一致，還要求bios時間一致。
解決：

• 系統時間ntpdate調一致，然而並沒有解決問題，還需要下一步
• 各節點hwclock -w把BIOS時間刷新。ceph竟然也依賴BIOS時間，也真是醉了。
• 再重啓mds服務，問題解決。