https://blog.csdn.net/pencc/article/details/84333315
之前在研究上面這個問題時,發現有一個bug,會導致kubernetes多次以RW模式掛載同一個PV。原生代碼基於1.11.2如下,這裏的主要問題是如果只判斷if v != v1.ReadWriteOnce會導致accessModes爲RWX時候跳過驗證,也就是ReadWriteMany進入這裏會忽略util.rbdStatus的判斷值,也就是說即便該PV已經被掛載了,也會被k8s再次掛載到別的Pod上去,RDB原生不支持被多次讀寫掛載,這就可能導致RDB數據同步等出現問題。至於爲什麼RWX會進入這裏?還是看上面給出的這篇文章吧。
// AttachDisk attaches the disk on the node.
func (util *RBDUtil) AttachDisk(b rbdMounter) (string, error) {
。。。
needValidUsed := true
// If accessModes contain ReadOnlyMany, we don't need check rbd status of being used.
if b.accessModes != nil {
for _, v := range b.accessModes {
if v != v1.ReadWriteOnce {
needValidUsed = false
break
}
}
}
err := wait.ExponentialBackoff(backoff, func() (bool, error) {
used, rbdOutput, err := util.rbdStatus(&b)
if err != nil {
return false, fmt.Errorf("fail to check rbd image status with: (%v), rbd output: (%s)", err, rbdOutput)
}
return !needValidUsed || !used, nil
})
。。。
}
發現了這個問題,興高采烈的準備提PR,一進master代碼一看,別人已經修復掉這個問題了,無奈之下只能backport到我們的分支上來了。其實實現也很簡單,如下,除開掛載單個ROX PV的情況,其它時候都讓它的狀態驗證由util.rbdStatus來決定。
// AttachDisk attaches the disk on the node.
func (util *RBDUtil) AttachDisk(b rbdMounter) (string, error) {
。。。
needValidUsed := true
if b.accessModes != nil {
// If accessModes only contain ReadOnlyMany, we don't need check rbd status of being used.
if len(b.accessModes) == 1 && b.accessModes[0] == v1.ReadOnlyMany {
needValidUsed = false
}
}
err := wait.ExponentialBackoff(backoff, func() (bool, error) {
used, rbdOutput, err := util.rbdStatus(&b)
if err != nil {
return false, fmt.Errorf("fail to check rbd image status with: (%v), rbd output: (%s)", err, rbdOutput)
}
return !needValidUsed || !used, nil
})
。。。
}