MICCAI2019论文详解Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification
论文：基于空域激活神经网络的眼底视网膜血管动静脉分割
Wenao Ma, Shuang Yu, Kai Ma, Jiexiang Wang, Xinghao Ding, Yefeng Zheng:
Multi-task Neural Networks with Spatial Activation for Retinal Vessel Segmentation and Artery/Vein Classification. MICCAI (1) 2019: 769-778
论文地址：
https://link.springer.com/chapter/10.1007%2F978-3-030-32239-7_85
https://dblp.uni-trier.de/pers/hd/z/Zheng:Yefeng.html
目录
2.2 基于FCN(Fully convoution Network)的方法
一、概览
1.1 贡献点
视网膜血管分割在疾病诊断过程中起到重要作用。本文：
- 提出了多任务的神经网络用于眼底血管分割
- 加入空域激活机制
- 自动分类眼底血管，动脉，静脉
- 不需要预先对眼底血管进行分类
1.2 方法
输入端：
引入了域知识，加入了视网膜血管的增强方法
输出端：
在输出模块引入空域激活(spatial activation)机制
引入deep supervision使得网络的浅层可以提取更具有semantic的信息。
1.3 成果
在AV-DRIVE数据集上，无论是血管分割还是动静脉分割都达到state of the art的准确率
- 血管分割像素级别准确率达到95.07%
- 动静脉分割像素级别的准确率达到94.50%
二、背景
2.1 基于handcrafted与graph的方法
一般的视网膜血管分割分为两个阶段，第一个阶段分割出眼底血管，第二个阶段分割出动脉和静脉：
基于特征的分类方法：将handcrafted feature作为提取特征的依据：
- Niemeijer, M., van Ginneken, B., Abràmoff, M.D.: Automatic classification of retinal vessels into arteries and veins. In: Med. Img. 2009: Comp-Aided Diag. vol. 7260,p. 72601F (2009)
- Xu, X., Ding, W., Abràmoff, M.D., Cao, R.: An improved arteriovenous classification method for the early diagnostics of various diseases in retinal image. Comp.Methods and Prog. in Biomed. 141, 3–9 (2017)
基于graph的方法：将眼底血管构建为graph，基于节点分析和graph分析来作为分类的依据，然后将graph tree分类为动脉和静脉：
- Dashtbozorg, B., Mendon¸ ca, A.M., Campilho, A.: An automatic graph-based approach for artery/vein classification in retinal images. IEEE Trans. on Img. Process.23(3), 1073–1083 (2014)
- Estrada, R., Allingham, M.J., Mettu, P.S., Cousins, S.W., Tomasi, C., Farsiu, S.:Retinal artery-vein classification via topology estimation. IEEE Trans. on Med.Img. 34(12), 2518–2534 (2015)
这两种方法的缺点：前阶段血管分割的误差或者错误会直接导致动静脉分割表现不佳。对于handcrafted feature而言，过度依赖于血管中心线。对于graph而言，过度依赖于graph的构建。
2.2 基于FCN(Fully convoution Network)的方法
近年来，基于FCN的方法成为主流。
将FCN应用为编码器-解码器：
- AlBadawi, S., Fraz, M.M.: Arterioles and venules classification in retinal images using fully convolutional deep neural network. In: Int. Conf. on Img. Anal. And Recog. pp. 659–668. Springer (2018)
FCN方法主要对于血管宽度大于3像素点有效：
- Meyer, M.I., Galdran, A., Costa, P., Mendon¸ ca, A.M., Campilho, A.: Deep convolutional artery/vein classification of retinal vessels. In: Int. Conf. on Img. Anal.and Recog. pp. 622–630 (2018)
缺点：现有方法容易将血管的一些像素分割为背景，特别是对于一些毛细血管分割效果较差。
2.3 本文方法
- 将血管分割与动静脉分割结合作为multi-task，两个任务的效果可以相互增强。
- 输出阶段设计了一个multi-task output block，并且加入activation机制。利用相对简单的血管分割的结果提升动静脉分割的结果。特别有利于提升毛细血管的检测结果。
- 输入模块引入了领域知识，并且加入了filter based的血管增强方法。
- Deep supervision被引入到网络早期的encoder模块，用于将low-level的特征提取出更加semantic的信息。
- 在AV-DRIVE数据集上，无论是血管分割还是动静脉分割都达到state of the art的准确率
三、方法
3.1 模型架构
将原始的图像增扩为IC:illumination correction光照增强的图像，VE：血管增强图像
图像切为patches，然后送入下文所讲的深度学习架构之中，然后深度学习模型同时输出血管，动脉，静脉的分割结果。
3.2 多输入
已有的方法，引入了邻域知识。
- 引入光照补偿，对图片进行光照校正，作为图片预处理。
- 另外的，引入了样本增扩的技术，引入了Multi-scale gabor filtering与line detector，作为辅助样本。
3.3 Spatial Activation
网络结构如图：
用Unet架构，提前用Resnet预训练作为encoder。在输入之前，加入了expanding compressing层，将输入映射到高维空间，再将相应的featuremap进行压缩到3维。因此输入通道可以与resnet相符合。
神经网络可以学到更加descriminative的feature。但是神经网络如果仅仅学习动静脉分割，则会对细小毛细血管的分类效果不佳。因此，希望神经网络可以更好的从动静脉分割中提取特征。
在输出阶段，设计了两个并行的模块。第一个模块提取出动静脉分割的概率，第二个将条件概率进行融合并且生成最终的动静脉分割的结果。
为了更好的输出毛细血管，本文设计了一个激活模块：
- x为血管分割的输出结果，用此值对动静脉分割进行激活。
- σ表示激活系数
- 这样设计因为基于之前的观测，毛细血管生成的值多为0.5左右，而厚一点的血管输出值接近于1.0.
- 设计了一个gaussian函数来增强相应的值到0.5
- 因此设计一个偏置来使得相应的值被限制在
![]()
- 毛细血管的值被限制在
![]()
因此潜在的毛细血管就会被激活。
3.4 deep supervision
本文在resnet block的Encoder模块后加入了deep supervision
- 更加语义层面semantic的信息可以提升UNet的表现
- BP算法可能导致接近输入的层出现梯度消失的情况。
同时，相应的Loss函数也被设计，包括三项：二值的交叉熵，loss of deep supervision模块，weight decay regularizaiton term
- BCE表示二值的交叉熵，公式如下面所示。
- Θ表示网络的参数
- i表示第i个deep supervision模块
- c表示第c个输出模块
- 每类的权重μ，血管，动脉，静脉的系数为3/7， 2/7 ，2/7
四、实验及结果
4.1 数据集及实验
AV-DRIVE数据集包括20张训练样本，20张测试样本，像素大小为584×565像素，每个像素标注为血管和动静脉血管。
训练过程中，每个图像被分为64×64大小的patch。
测试阶段，图片按照stride为10进行切分，然后将相应的预测输出拼接。带momentum的SGD被应用，并且迭代了60000次iter，batchsize为16.
4.2 Ablation studies模型简化测试
综合实验分析被应用于模型之中，用来分析几个模块的作用。多任务MTs(Multi-task),多输入Multi-input (MIs) and 空间激活spatial activation mechanism (AC)。
本文进行了四个实验。
最好的性能就是三个模块都加上的性能。
4.3 与现有方法比较
五、结论及个人总结
将血管分割与动静脉分割结合作为multi-task，两个任务的效果可以相互增强。
输出阶段设计了一个multi-task output block，并且加入activation机制。利用相对简单的血管分割的结果提升动静脉分割的结果。特别有利于提升毛细血管的检测结果。
输入模块引入了领域知识，并且加入了filter based的血管增强方法。
Deep supervision被引入到网络早期的encoder模块，用于将low-level的特征提取出更加semantic的信息。
在AV-DRIVE数据集上，无论是血管分割还是动静脉分割都达到state of the art的准确率