文章轉自：知乎 原文鏈接：https://zhuanlan.zhihu.com/p/146612760
知乎作者：python小宗師
論文下載：Inf-Net: Automatic COVID-19 Lung Infection Segmentation from CT Imagesarxiv.org
代碼 Pytorch：DengPingFan/Inf-Netgithub.com
簡介
2020年初，2019冠狀病毒病(COVID-19)在全球範圍內傳播，使全球面臨生存健康危機。通過計算機斷層掃描(CT)圖像自動檢測肺部感染，爲加強應對COVID-19的傳統醫療保健戰略提供了巨大潛力。然而，從CT切片中分割感染區域面臨着幾個挑戰，包括感染特徵的高變異，以及感染與正常組織的低強度對比。此外，在短時間內收集大量數據是不現實的，阻礙了深度模型的訓練。爲了應對這些挑戰，本文提出了一種新型COVID-19肺部感染分割深度網絡，可以從胸部CT切片中自動識別感染區域。在網絡中，一個並行的部分解碼器被用來聚合高級特徵和生成全局圖。然後，利用隱逆向注意和顯邊注意對邊界進行建模和增強表徵。此外，爲了緩解標記數據的不足，提出了一種基於隨機選擇傳播策略的半監督序列配置框架，該框架只需要少量標記圖像，而主要利用未標記數據。半監督框架可以提高學習能力，實現更高的性能。在COVID-SemiSeg和CT上進行的廣泛實驗表明，提出的Inf-Net優於大多數尖端分割模型，提高了最新的性能。
上圖爲COVID-19感染區域示例CT軸向切片，其中紅色掩模和綠色掩模分別表示GGO和結團。
擬解決的問題：
在CT切片中檢測COVID-19感染仍然是一項具有挑戰性的任務，主要存在以下幾個問題:
- CT切片中感染的紋理、大小和位置變化較大，對檢測具有挑戰性。例如，整片合併的面積太小，容易導致整片CT片出現假陰性。
- 類間方差較小。例如，GGO邊界往往對比度低，外觀模糊，難以識別。
- 由於COVID-19的緊急情況，很難在短時間內收集到足夠的標記數據用於深度模型的訓練。
此外，在CT切片中獲取肺部感染的高質量像素級註釋是昂貴和費時的。上表顯示了公開的COVID-19成像數據集列表，其中大多數集中於診斷，只有一個數據集提供了110個分割標籤。
爲了解決上述問題，提出了一種新型COVID-19肺部感染分割深度網絡(Inf-Net)，用於CT切片。
動機來源
臨牀醫生在肺部感染檢測過程中，首先對感染區域進行粗略定位，然後根據局部症狀準確提取其輪廓。因此，正常區域和結合區是區分正常組織和感染的兩個關鍵特徵。因此，由信息網絡首先預測粗糙區域，然後通過反向注意和邊界約束引導隱式建模邊界，顯式增強邊界識別。
此外，爲了緩解標記數據的不足，採取了半監督分割系統，只需少量標記的COVID-19感染圖像，然後使模型能夠利用未標記數據。利用隨機選擇的無標記數據傳播來提高學習能力，並獲得比一些前沿模型更高的性能。
本文的主要貢獻有三方面：
- 通過使用並行部分解碼器(PPD)聚合來自高層的特徵，組合的特徵獲取上下文信息並生成一個全球地圖，作爲後續步驟的初始指導區域。爲了進一步挖掘邊界線索，我們利用一組隱式重複的反向注意(RA)模塊和顯式邊緣注意引導來建立區域和邊界的關係。
- 引進了一種半監督分割系統，基於隨機選擇的傳播，以緩解標記數據的短時間。
- 構建了一個COVID-19半監督感染分割(COVID-SemiSeg)數據集，包括100張來自COVID-19 CT分割數據集的標記CT切片和1600張來自COVID-19 CT採集數據集的未標記圖像。
方法
Inf-Net
CT圖像首先被送入兩個卷積層，提取高分辨率，語義上較弱(低層次)的特徵。在此，增加了邊緣注意模塊來明確地改善目標區域邊界的表示。然後將f2得到的低層特徵饋入三個卷積層，提取高層特徵。首先，利用並行部分解碼器(PPD)來聚合這些特徵，並生成一個肺部感染的粗略定位的全球地圖Sg。其次，這些特徵結合f2在Sg的指導下被饋給多個反向注意(RA)模塊。RA模塊是以級聯的方式組織的。例如，R4依賴於另一個RA R5的輸出。最後，最後一個RA s3的輸出被輸入到激活函數中，用於最終預測肺部感染區域。
邊緣注意模塊：（就是一層卷積）
邊緣信息可以爲分割提供有用的約束來指導特徵提取。考慮到低層特徵(f2中)保留了一些足夠的邊緣信息，將中等分辨率的低層特徵f2提供給邊緣注意(EA)模塊，以顯式學習邊緣注意表示。即，特徵f2經過一層卷積，以產生邊緣圖。
用標準二值交叉熵約束預測的的邊緣映射和地面真值(GT)的邊緣映射：
並行部分譯碼器(PPD)
對於一個輸入CT圖像I，我們首先利用Res2Net的前5個卷積塊提取兩組低級特徵f1,f2和三組高級特徵{f I= 3,4,5}。然後，利用一種新型解碼器組件部分解碼器pd(·)，以並行連接聚合高級特性。部分解碼器生成一個粗糙的全局映射Sg = pd (f3, f4, f5)，作爲RA模塊的全局指導。
反向關注模塊(RA)
在三個並行的高級特徵中自適應地學習反向注意。利用互補區域和細節，方法是從高級副輸出特徵中刪除估計的感染區域，而現有的估計是從更深層次的向上採樣的。
RA輸出如下：
損失函數的定義：
最後，對三邊產出進行深度監管(即S3, S4,S5)和全局圖Sg：
半監督Inf-Net
基於隨機採樣策略，用於使用未標記數據逐步擴大訓練數據集。使用下圖中描述的過程爲未標記的CT圖像生成僞標籤。然後利用得到的帶有僞標籤的CT圖像來訓練模型。
將半信息網絡擴展爲多類肺部感染檢測框架，爲COVID-19的進一步診斷和治療提供更豐富的信息。半信息網絡的擴展基於感染區域引導的多類標記框架，如圖所示。
實驗結果
結論
在本文中，提出了一種新型的COVID-19肺部CT感染分割網絡Ifo-Net，該網絡利用隱式反向注意和顯式邊緣關注來改進感染區域的識別。此外，提供了一個半監督的解決方案-半監督inf - Net，以緩解高質量標記數據的短缺。在COVID-SemiSeg數據集和真實CT體積上進行的廣泛實驗表明，提出的Inf-Net和semi - info -Net的性能優於前沿分段傳輸模型，提高了最新的性能。本系統在COVID-19診斷評估方面具有巨大潛力，如量化疫區、監測縱向疾病變化和大規模篩查處理等。值得注意的是，該模型能夠檢測到感染和正常組織之間低強度對比的物體。這種現象經常發生在自然僞裝對象中。未來，我們計劃將我們的info - net應用於其他相關任務，如息肉分割、產品缺陷檢測、僞裝動物檢測。