文章转自：知乎 原文链接：https://zhuanlan.zhihu.com/p/146612760
知乎作者：python小宗师
论文下载：Inf-Net: Automatic COVID-19 Lung Infection Segmentation from CT Imagesarxiv.org
代码 Pytorch：DengPingFan/Inf-Netgithub.com
简介
2020年初，2019冠状病毒病(COVID-19)在全球范围内传播，使全球面临生存健康危机。通过计算机断层扫描(CT)图像自动检测肺部感染，为加强应对COVID-19的传统医疗保健战略提供了巨大潜力。然而，从CT切片中分割感染区域面临着几个挑战，包括感染特征的高变异，以及感染与正常组织的低强度对比。此外，在短时间内收集大量数据是不现实的，阻碍了深度模型的训练。为了应对这些挑战，本文提出了一种新型COVID-19肺部感染分割深度网络，可以从胸部CT切片中自动识别感染区域。在网络中，一个并行的部分解码器被用来聚合高级特征和生成全局图。然后，利用隐逆向注意和显边注意对边界进行建模和增强表征。此外，为了缓解标记数据的不足，提出了一种基于随机选择传播策略的半监督序列配置框架，该框架只需要少量标记图像，而主要利用未标记数据。半监督框架可以提高学习能力，实现更高的性能。在COVID-SemiSeg和CT上进行的广泛实验表明，提出的Inf-Net优于大多数尖端分割模型，提高了最新的性能。
上图为COVID-19感染区域示例CT轴向切片，其中红色掩模和绿色掩模分别表示GGO和结团。
拟解决的问题：
在CT切片中检测COVID-19感染仍然是一项具有挑战性的任务，主要存在以下几个问题:
- CT切片中感染的纹理、大小和位置变化较大，对检测具有挑战性。例如，整片合并的面积太小，容易导致整片CT片出现假阴性。
- 类间方差较小。例如，GGO边界往往对比度低，外观模糊，难以识别。
- 由于COVID-19的紧急情况，很难在短时间内收集到足够的标记数据用于深度模型的训练。
此外，在CT切片中获取肺部感染的高质量像素级注释是昂贵和费时的。上表显示了公开的COVID-19成像数据集列表，其中大多数集中于诊断，只有一个数据集提供了110个分割标签。
为了解决上述问题，提出了一种新型COVID-19肺部感染分割深度网络(Inf-Net)，用于CT切片。
动机来源
临床医生在肺部感染检测过程中，首先对感染区域进行粗略定位，然后根据局部症状准确提取其轮廓。因此，正常区域和结合区是区分正常组织和感染的两个关键特征。因此，由信息网络首先预测粗糙区域，然后通过反向注意和边界约束引导隐式建模边界，显式增强边界识别。
此外，为了缓解标记数据的不足，采取了半监督分割系统，只需少量标记的COVID-19感染图像，然后使模型能够利用未标记数据。利用随机选择的无标记数据传播来提高学习能力，并获得比一些前沿模型更高的性能。
本文的主要贡献有三方面：
- 通过使用并行部分解码器(PPD)聚合来自高层的特征，组合的特征获取上下文信息并生成一个全球地图，作为后续步骤的初始指导区域。为了进一步挖掘边界线索，我们利用一组隐式重复的反向注意(RA)模块和显式边缘注意引导来建立区域和边界的关系。
- 引进了一种半监督分割系统，基于随机选择的传播，以缓解标记数据的短时间。
- 构建了一个COVID-19半监督感染分割(COVID-SemiSeg)数据集，包括100张来自COVID-19 CT分割数据集的标记CT切片和1600张来自COVID-19 CT采集数据集的未标记图像。
方法
Inf-Net
CT图像首先被送入两个卷积层，提取高分辨率，语义上较弱(低层次)的特征。在此，增加了边缘注意模块来明确地改善目标区域边界的表示。然后将f2得到的低层特征馈入三个卷积层，提取高层特征。首先，利用并行部分解码器(PPD)来聚合这些特征，并生成一个肺部感染的粗略定位的全球地图Sg。其次，这些特征结合f2在Sg的指导下被馈给多个反向注意(RA)模块。RA模块是以级联的方式组织的。例如，R4依赖于另一个RA R5的输出。最后，最后一个RA s3的输出被输入到激活函数中，用于最终预测肺部感染区域。
边缘注意模块：（就是一层卷积）
边缘信息可以为分割提供有用的约束来指导特征提取。考虑到低层特征(f2中)保留了一些足够的边缘信息，将中等分辨率的低层特征f2提供给边缘注意(EA)模块，以显式学习边缘注意表示。即，特征f2经过一层卷积，以产生边缘图。
用标准二值交叉熵约束预测的的边缘映射和地面真值(GT)的边缘映射：
并行部分译码器(PPD)
对于一个输入CT图像I，我们首先利用Res2Net的前5个卷积块提取两组低级特征f1,f2和三组高级特征{f I= 3,4,5}。然后，利用一种新型解码器组件部分解码器pd(·)，以并行连接聚合高级特性。部分解码器生成一个粗糙的全局映射Sg = pd (f3, f4, f5)，作为RA模块的全局指导。
反向关注模块(RA)
在三个并行的高级特征中自适应地学习反向注意。利用互补区域和细节，方法是从高级副输出特征中删除估计的感染区域，而现有的估计是从更深层次的向上采样的。
RA输出如下：
损失函数的定义：
最后，对三边产出进行深度监管(即S3, S4,S5)和全局图Sg：
半监督Inf-Net
基于随机采样策略，用于使用未标记数据逐步扩大训练数据集。使用下图中描述的过程为未标记的CT图像生成伪标签。然后利用得到的带有伪标签的CT图像来训练模型。
将半信息网络扩展为多类肺部感染检测框架，为COVID-19的进一步诊断和治疗提供更丰富的信息。半信息网络的扩展基于感染区域引导的多类标记框架，如图所示。
实验结果
结论
在本文中，提出了一种新型的COVID-19肺部CT感染分割网络Ifo-Net，该网络利用隐式反向注意和显式边缘关注来改进感染区域的识别。此外，提供了一个半监督的解决方案-半监督inf - Net，以缓解高质量标记数据的短缺。在COVID-SemiSeg数据集和真实CT体积上进行的广泛实验表明，提出的Inf-Net和semi - info -Net的性能优于前沿分段传输模型，提高了最新的性能。本系统在COVID-19诊断评估方面具有巨大潜力，如量化疫区、监测纵向疾病变化和大规模筛查处理等。值得注意的是，该模型能够检测到感染和正常组织之间低强度对比的物体。这种现象经常发生在自然伪装对象中。未来，我们计划将我们的info - net应用于其他相关任务，如息肉分割、产品缺陷检测、伪装动物检测。