機器之心專欄
作者：Xuan Liao、Wenhao Li等
如何提高交互式圖像分割算法的效率？上海交大和華師大的研究者提出了一種基於多智能體深度強化學習的新型算法。
現有的交互式圖像分割算法雖然能迭代式地更新分割結果，但很大程度上忽略了對連續交互之間動態性的探索，造成分割效率大大降低。
在 CVPR 2020 的一篇論文中，來自上海交大和華師大的團隊聯合提出了一種基於多智能體深度強化學習（MARL）的新型交互式三維醫療圖像分割算法（IteR-MRL）。通過將迭代更新的交互式圖像分割的動態過程建模成馬爾可夫過程，並使用 MARL 解決，IteR-MRL 實現了更少的交互次數和更快的收斂速度，在多個醫療圖像數據集上超過了現有算法。
論文地址：https://arxiv.org/abs/1911.10334
現有交互式圖像分割策略的缺點
目前的三維圖像自動分割算法很難達到醫用標準。爲了得到更佳的分割結果，交互式的圖像分割策略成爲有價值的研究方向，此類策略通過引入少量的用戶提示實現對分割結果的迭代優化。
現有的交互式算法雖然能迭代式地對分割結果進行多輪更新，但它們仍然獨立地考慮每一輪更新的分割結果，很大程度上忽略了連續交互的動態性。
該研究的貢獻
爲了更好地利用交互式圖像分割的動態性，來自上海交大和華師大的團隊提出了一個基於深度強化學習的算法 IteR-MRL，將交互式醫療圖像分割的動態過程建模成一個馬爾科夫決策過程，然後用深度強化學習求解。該算法從整體上考慮分割更新序列，充分挖掘了交互分割前後的關聯。
由於體素級的圖像分割標註任務會造成單智能體的強化學習算法遭遇探索空間爆炸問題，因此該團隊採用多智能體模型，將每個圖像體素看作一個智能體。通過讓所有智能體共享同一個行爲策略，將探索空間減小到了可行的範圍。多智能體模型還能同時實現圖像體素的合作交互，從而有效地捕捉分割任務中體素之間的依賴性。
該研究的貢獻主要有以下三點：
（1）將交互式圖像分割任務建模成一個馬爾科夫決策過程，提出了全新的基於 MARL 的交互式三維醫療圖像分割框架，使得用戶的交互得到更有效地利用；
（2）通過分割概率的形式來保留分割結果的不確定性，豐富了之前分割結果的信息，也實現了更加精確和精細的分割調整；
（3）實驗表明，通過考慮連續兩次分割結果之間的相對增益，分割效果得到顯著提升，並具備更少的交互次數和更快的收斂速度。
方法概覽
迭代式交互圖像分割方法的流程圖。
該研究採用迭代更新的流程。首先向模型提供初始的粗分割結果（可以來自任意圖像分割算法或不精確的人工標註）。如果當前分割結果不符合預期，則用戶在錯誤區域標註關鍵性的提示信息，更新算法根據用戶提示再次更新分割結果。上述過程不斷迭代，直至用戶對優化後的分割結果滿意爲止。
基於 MARL 的交互式圖像分割框架（IteR-MRL）
IteR-MRL 算法圖示。
在每一步交互更新中，將包含圖像、之前分割結果和提示圖的當前狀態輸入到 FCN 網絡中，然後網絡根據其輸出的動作產生當前的分割結果。接着，用戶根據錯誤區域給出的提示點（紅點），進而生成新的提示圖。每一步的回報值都由環境決定，即分割的預測標籤和正確標籤。在 MARL 的設定中，體素被看作是互相協作的智能體。
1. 狀態設計
每個智能體的狀態由體素值、之前分割概率和提示圖上對應的值組成，兩張提示圖分別代表了用戶給出的正負提示。分割概率能夠保留模型之前輸出結果的不確定性。
2. 動作設計
基於之前分割概率，每個智能體的動作是預測基於之前分割結果的改變量。將改變量施加到之前分割結果上，生成新的分割結果。動作空間由 K 個動作組成，使得智能體可以在不同情況下進行有針對性的多樣化調整。
3. 回報設計
每個智能體的回報被設計爲當前預測結果與正確標籤之間的交叉熵變化量。這樣的相對性能回報是基於性能變化趨勢的，我們可以同時得知性能變化的方向及程度。比起一個遙遠的目標，相對性能可以給智能體提供一條可供對比的基線，並超越。
實驗
對比實驗
1. 與不同初始分割算法的組合
更新算法以四種不同的初始分割算法的分割結果作爲其初始分割結果。比起其他三種現有的更新算法，不論初始分割算法如何選擇，IteR-MRL 都擁有更好的性能。這表明了該算法的魯棒性和普適性。
2. 一個交互序列中的性能提升
在其他算法的每步性能提升緩慢時，IteR-MRL 仍能保持相對高的性能提升，這證明了在交互式分割任務中考慮動態性可以有效且快速地提升性能。每一步相對高的性能提升逐漸累積，使得最終算法達到好的分割精度。
3. 分割結果可視化對比
從上圖中可以觀察到，當其他算法傾向於產生相對光滑的分割輪廓時，IteR-MRL 算法在捕捉物體邊緣細節信息時表現更佳。
4. 不同數據集的性能對比
該實驗證明 IteR-MRL 算法對於數據集的魯棒性，在腦部腫瘤、心臟和前列腺數據集上都擁有穩定的表現。
控制變量實驗
1. 不同動作與狀態設定的組合
數值小的動作比數值大的動作擁有更好的性能，且能夠提供多樣化的調整尺度，使得模型動作更加充足，從而達到好的性能。
2. 回報的設計對性能的影響
基於相對性能增益的回報具備更優秀的效果，原因是相對增益能夠更好地反映智能體對分割概率的調整。
