摘要：從計算機斷層掃描(CT)中發現病變是一個重要但困難的問題，因爲非病變和真實的病變可能出現類似的情況。3D環境對這一區分任務很有幫助。然而，現有的卷積神經網絡端到端檢測框架大多是針對二維圖像設計的。在本文中，我們提出了一種基於3D上下文增強區域的CNN (3DCE)，通過聚合二維圖像的特徵圖，有效地融合三維上下文信息。3DCE在訓練和推理方面易於訓練和端到端。開發了一種通用的基於deeplesion的病竈檢測算法,實驗結果證明了3DCE的有效性，已經發布了3DCE的代碼。
一、楔子
自動檢測病竈很重要，3d信息有幫助，但是目前普遍 的CNN是爲2D圖設計，因此設計一個3D情景的卷積是有必要的。
Liao把RPN擴展到了3D情景下，但3D cnn非常佔內存，把一個樣本放進GPU內存中都很困難。另外，3D框的標註更難，這造成使用3D RPN來進行稀疏訓練數據。本文提出了一種基於三維上下文增強的區域CNNs (3DCE)，將三維上下文集成到二維區域CNNs中。將多個相鄰切片分別發送到二維檢測網絡中生成特徵圖，然後將特徵圖聚合起來進行最終預測。爲此，我們改進了基於區域的全卷積網絡(R-FCN)[2]。3DCE具有許多優點:1)與2階段候選生成+ FPR方法相比，3DCE在訓練和推理方面更高效、端到端。2)它可以利用流行的2D CNN骨幹和預先訓練的權重，如VGG-16[11]。權重是從數以百萬計的圖像[3]中學習而來的，已知對轉移學習[10]是有益的。相反，3D CNNs缺乏這樣的預訓練模型，必須從零開始訓練。3) 3DCE只需要2D綁定框註釋即可進行訓練。與三維方法相比，它更容易獲得大規模的訓練數據，如放射科醫生常規的病竈測量[12]。
以往對病竈檢測的研究多集中於特定類型的病竈，如肺結節、肝臟病竈等。雖然一些常見的類型得到了很多關注，但許多不常見但仍然具有臨牀意義的類型被忽視了。在本文中，我們將所提出的算法應用於深度[12]，這是一個大規模、多樣化的病變數據集。它包含了超過32K二維的各種類型的病變註釋。利用該數據集，我們開發了一種通用的病竈檢測算法，在一個統一的框架下發現所有類型的病竈。將3D上下文與3DCE結合後，在具有挑戰性的數據集測試集上，每張圖像4個假陽性的病竈檢測靈敏度從80.32%提高到84.37%，證明了3DCE的有效性。
二、方法
三、評價和分析
在實驗過程中，我們注意到有時探測器會用一個大的地面真實邊界框來識別較大或分散的病竈的較小部分。雖然IoU在這種情況下小於0.5，但檢測結果仍然可以被視爲真正的陽性(TP)，這也可以幫助放射科醫生。爲了克服這種評價偏差，我們利用檢測到的邊界盒面積比(IoBB)上的交集作爲另一個標準。此外，由於DeepLesion基於放射科醫生的書籤，所以在測試集中缺少病竈註釋，放射科醫生通常只在日常工作中標記有代表性的病竈。因此，FP預測實際上可能是一個TP。我們邀請了兩名經驗豐富的放射科醫生，在深度掃描的測試集中對300個隨機切片上的所有病變進行重新註釋。在300個切片中，ground-truth病竈的數量從305個增加到768個。我們還對全損傷測試集的算法進行了評估，結果如表2所示。在表2中，儘管有測試集和評估標準，3DCE仍然具有最好的準確性。使用IoBB計算的性能優於IoU。全病變組在4 FPs時的敏感性低於原深度組。深部病變只包括放射科醫生認爲在日常工作中可以測量的有代表性的病變，這些病變往往是主觀選擇。同時，對全病變組進行強化標記，包括所有異常。全損傷集合中的一些損傷是不可測量的或太小，因此訓練集中不存在，影響了算法的性能。換句話說，新的註解降低了FPs的數量和靈敏度。推理時間如表2所示。改進後的R-FCN比基線更快的RCNN花費的時間要少得多(因爲更快的RCNN需要在一個較厚的feature map上運行4個FC層)，同時仍然具有更好的準確性。3DCE的時間複雜度與輸入切片的數量大致成線性比例，因爲它爲多個圖像生成特徵映射。然而,如果在體積數據上進行測試，這種額外的時間成本可以大大降低，因爲相鄰片的特徵映射可以緩存和重用。2D候選生成+ 3D/2.5D假陽性約簡(FPR)方法還測試了。該數據集上FPR分類器的精度不高有希望，這可能是由於小的類間差異(病變和非病變看起來非常相似)和大的類內差異(許多病變類型)的候選人。我們還設計了一個接收27個切片輸入的3D CNN(與3DCE相同)，使用3D過濾器提取特性，並預測2D框片的關鍵。它是從改進的R-FCN改編而來，並從零開始訓練。它的每幅圖像4幀的靈敏度爲79.7%，而3DCE的靈敏度爲84.4%該3DCE與預先訓練的權重和分解過濾器是優越的。樣品檢測結果如圖3所示。有很多種在DeepLesion病變。(c)肺結節/腫塊14例，結節/腫塊10例被檢測到(這兩個FPs實際上是TPs，盒子更大)。在一個(d)腋窩腫大淋巴結3例，縱隔小淋巴結3例錯誤發現。探測器有時無法分辨放大的物體而正常淋巴結因其規模健壯。