MICCAI2019論文詳解Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification
論文：基於空域激活神經網絡的眼底視網膜血管動靜脈分割
Wenao Ma, Shuang Yu, Kai Ma, Jiexiang Wang, Xinghao Ding, Yefeng Zheng:
Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification. MICCAI (1) 2019: 769-778
論文地址：
https://link.springer.com/chapter/10.1007%2F978-3-030-32239-7_85
https://dblp.uni-trier.de/pers/hd/z/Zheng:Yefeng.html
目錄
2.2 基於FCN(Fully convoution Network)的方法
一、概覽
1.1 貢獻點
視網膜血管分割在疾病診斷過程中起到重要作用。本文：
- 提出了多任務的神經網絡用於眼底血管分割
- 加入空域激活機制
- 自動分類眼底血管，動脈，靜脈
- 不需要預先對眼底血管進行分類
1.2 方法
輸入端：
引入了域知識，加入了視網膜血管的增強方法
輸出端：
在輸出模塊引入空域激活(spatial activation)機制
引入deep supervision使得網絡的淺層可以提取更具有semantic的信息。
1.3 成果
在AV-DRIVE數據集上，無論是血管分割還是動靜脈分割都達到state of the art的準確率
- 血管分割像素級別準確率達到95.07%
- 動靜脈分割像素級別的準確率達到94.50%
二、背景
2.1 基於handcrafted與graph的方法
一般的視網膜血管分割分爲兩個階段，第一個階段分割出眼底血管，第二個階段分割出動脈和靜脈：
基於特徵的分類方法：將handcrafted feature作爲提取特徵的依據：
- Niemeijer, M., van Ginneken, B., Abràmoff, M.D.: Automatic classification of retinal vessels into arteries and veins. In: Med. Img. 2009: Comp-Aided Diag. vol. 7260,p. 72601F (2009)
- Xu, X., Ding, W., Abràmoff, M.D., Cao, R.: An improved arteriovenous classification method for the early diagnostics of various diseases in retinal image. Comp.Methods and Prog. in Biomed. 141, 3–9 (2017)
基於graph的方法：將眼底血管構建爲graph，基於節點分析和graph分析來作爲分類的依據，然後將graph tree分類爲動脈和靜脈：
- Dashtbozorg, B., Mendon¸ ca, A.M., Campilho, A.: An automatic graph-based approach for artery/vein classification in retinal images. IEEE Trans. on Img. Process.23(3), 1073–1083 (2014)
- Estrada, R., Allingham, M.J., Mettu, P.S., Cousins, S.W., Tomasi, C., Farsiu, S.:Retinal artery-vein classification via topology estimation. IEEE Trans. on Med.Img. 34(12), 2518–2534 (2015)
這兩種方法的缺點：前階段血管分割的誤差或者錯誤會直接導致動靜脈分割表現不佳。對於handcrafted feature而言，過度依賴於血管中心線。對於graph而言，過度依賴於graph的構建。
2.2 基於FCN(Fully convoution Network)的方法
近年來，基於FCN的方法成爲主流。
將FCN應用爲編碼器-解碼器：
- AlBadawi, S., Fraz, M.M.: Arterioles and venules classification in retinal images using fully convolutional deep neural network. In: Int. Conf. on Img. Anal. And Recog. pp. 659–668. Springer (2018)
FCN方法主要對於血管寬度大於3像素點有效：
- Meyer, M.I., Galdran, A., Costa, P., Mendon¸ ca, A.M., Campilho, A.: Deep convolutional artery/vein classification of retinal vessels. In: Int. Conf. on Img. Anal.and Recog. pp. 622–630 (2018)
缺點：現有方法容易將血管的一些像素分割爲背景，特別是對於一些毛細血管分割效果較差。
2.3 本文方法
- 將血管分割與動靜脈分割結合作爲multi-task，兩個任務的效果可以相互增強。
- 輸出階段設計了一個multi-task output block，並且加入activation機制。利用相對簡單的血管分割的結果提升動靜脈分割的結果。特別有利於提升毛細血管的檢測結果。
- 輸入模塊引入了領域知識，並且加入了filter based的血管增強方法。
- Deep supervision被引入到網絡早期的encoder模塊，用於將low-level的特徵提取出更加semantic的信息。
- 在AV-DRIVE數據集上，無論是血管分割還是動靜脈分割都達到state of the art的準確率
三、方法
3.1 模型架構
將原始的圖像增擴爲IC:illumination correction光照增強的圖像，VE：血管增強圖像
圖像切爲patches，然後送入下文所講的深度學習架構之中，然後深度學習模型同時輸出血管，動脈，靜脈的分割結果。
3.2 多輸入
已有的方法，引入了鄰域知識。
- 引入光照補償，對圖片進行光照校正，作爲圖片預處理。
- 另外的，引入了樣本增擴的技術，引入了Multi-scale gabor filtering與line detector，作爲輔助樣本。
3.3 Spatial Activation
網絡結構如圖：
用Unet架構，提前用Resnet預訓練作爲encoder。在輸入之前，加入了expanding compressing層，將輸入映射到高維空間，再將相應的featuremap進行壓縮到3維。因此輸入通道可以與resnet相符合。
神經網絡可以學到更加descriminative的feature。但是神經網絡如果僅僅學習動靜脈分割，則會對細小毛細血管的分類效果不佳。因此，希望神經網絡可以更好的從動靜脈分割中提取特徵。
在輸出階段，設計了兩個並行的模塊。第一個模塊提取出動靜脈分割的概率，第二個將條件概率進行融合並且生成最終的動靜脈分割的結果。
爲了更好的輸出毛細血管，本文設計了一個激活模塊：
- x爲血管分割的輸出結果，用此值對動靜脈分割進行激活。
- σ表示激活係數
- 這樣設計因爲基於之前的觀測，毛細血管生成的值多爲0.5左右，而厚一點的血管輸出值接近於1.0.
- 設計了一個gaussian函數來增強相應的值到0.5
- 因此設計一個偏置來使得相應的值被限制在
![]()
- 毛細血管的值被限制在
![]()
因此潛在的毛細血管就會被激活。
3.4 deep supervision
本文在resnet block的Encoder模塊後加入了deep supervision
- 更加語義層面semantic的信息可以提升UNet的表現
- BP算法可能導致接近輸入的層出現梯度消失的情況。
同時，相應的Loss函數也被設計，包括三項：二值的交叉熵，loss of deep supervision模塊，weight decay regularizaiton term
- BCE表示二值的交叉熵，公式如下面所示。
- Θ表示網絡的參數
- i表示第i個deep supervision模塊
- c表示第c個輸出模塊
- 每類的權重μ，血管，動脈，靜脈的係數爲3/7， 2/7 ，2/7
四、實驗及結果
4.1 數據集及實驗
AV-DRIVE數據集包括20張訓練樣本，20張測試樣本，像素大小爲584×565像素，每個像素標註爲血管和動靜脈血管。
訓練過程中，每個圖像被分爲64×64大小的patch。
測試階段，圖片按照stride爲10進行切分，然後將相應的預測輸出拼接。帶momentum的SGD被應用，並且迭代了60000次iter，batchsize爲16.
4.2 Ablation studies模型簡化測試
綜合實驗分析被應用於模型之中，用來分析幾個模塊的作用。多任務MTs(Multi-task),多輸入Multi-input (MIs) and 空間激活spatial activation mechanism (AC)。
本文進行了四個實驗。
最好的性能就是三個模塊都加上的性能。
4.3 與現有方法比較
五、結論及個人總結
將血管分割與動靜脈分割結合作爲multi-task，兩個任務的效果可以相互增強。
輸出階段設計了一個multi-task output block，並且加入activation機制。利用相對簡單的血管分割的結果提升動靜脈分割的結果。特別有利於提升毛細血管的檢測結果。
輸入模塊引入了領域知識，並且加入了filter based的血管增強方法。
Deep supervision被引入到網絡早期的encoder模塊，用於將low-level的特徵提取出更加semantic的信息。
在AV-DRIVE數據集上，無論是血管分割還是動靜脈分割都達到state of the art的準確率