Progressive and Multi-path Holistically Nested Neural Networks的解讀

        本文的經典之處是採用逐步細化分割結果,通過將中間的預測輸出和下層的輸出融合策略來達到精細分割目標的目的。

        本文方法適應了高效的整體嵌套網絡(HNN)的深度學習架構[17]。爲了克服HNN輸出模糊性和FCN粗分辨率的問題,本文引入了一個簡單、強大的多路徑增強。不像其他多路徑的方法[1,7,10],使用複雜的粗略到精細分割的路徑,我們選擇對多尺度路徑的進化約束,並且不需要額外的卷積層或網絡參數。這個方案是一個有效和簡單的病理性肺部分割方法,本文稱之爲漸進整體嵌套網絡(P-HNN)。

        HNN模型最初稱爲整體嵌套邊界檢測,是FCN的一種,本文的HNNs基於標準的CNN模型加入batch normalizaiton模塊。 HNN將基於深度監督的概念推廣到FCNs,這是一種基於更深層次可以訪問更高級別的抽象特徵,但是尺度等級較粗糙。如圖1的綠色箭頭所示,HNN的新穎性是通過深度監督來指導訓練,通過在中間階段計算輸出和其損失。HNN也合併來自不同的網絡階段的預測,允許不同的級別和尺度貢獻到最後的結果。


We share our tool online for researchers' use and testing1.

本文開源了代碼或者集成的工具

        醫學影像上病理性肺組織由於其外觀、形狀的變動性,對其有效的分割具有很大的挑戰性。因爲病例肺組織的分割通常是其他圖像分析的先決條件,方法簡單性和通用性是可用性的關鍵因素。基於本原則,本文提出了一種自下而上深度學習的方法,其表現力足以處理病理性肺部外觀上變化,同時保持不受任何形狀變化的影響。我們納入了深度監督的學習框架,但是通過簡單而有效的漸進多路徑方案來增強它,其更可靠地將來自不同網絡階段的輸出合併。該結果是一個深刻的模型,能夠生產更精細的分割掩模,我們稱本框架爲漸進整體嵌套網絡(P-HNN)。使用廣泛交叉驗證的方法,我們的方法在多機構數據集上進行測試,這個數據包括929CT掃描(848個公開可用),從病理肺分割結果可知,mean dice0.985,其結果相對最先進的方法有定量和定性的改進。


1 引言

       受現有方法發展的驅動,我們採用自下而上的FCN方法到病理性肺部分割。鑑於病理性肺部分割通常是在後續分析之前的第一步,我們在簡單性和魯棒性方面予以高度重視。鑑於這個原因,本文方法適應了高效的整體嵌套網絡(HNN)的深度學習架構[17]爲了克服HNN輸出模糊性和FCN粗分辨率的問題,本文引入了一個簡單、強大的多路徑增強。不像其他多路徑的方法[1,7,10],使用複雜的粗略到精細分割的路徑,我們選擇對多尺度路徑的進化約束,並且不需要額外的卷積層或網絡參數。這個方案是一個有效和簡單的病理性肺部分割方法,本文稱之爲漸進整體嵌套網絡(P-HNN)。


2 方法

 

       HNN模型最初稱爲整體嵌套邊界檢測,是FCN的一種,本文的HNNs基於標準的CNN模型加入batch normalizaiton模塊。 HNN將基於深度監督的概念推廣到FCNs,這是一種基於更深層次可以訪問更高級別的抽象特徵,但是尺度等級較粗糙。如圖1的綠色箭頭所示,HNN的新穎性是通過深度監督來指導訓練,通過在中間階段計算輸出和其損失。 HNN也合併來自不同的網絡階段的預測,允許不同的級別和尺度貢獻到最後的結果。

       更正式地,一組1×1卷積權重w =w1),... wm))將每個階段的最後激活圖摺疊成圖像,即,用a(jn,m)表示在階段m,樣本n在像素位置j的輸出,在將其上採樣到原始輸入圖像分辨率後,估計使用中間階段的分割掩模採用下式1,2,3來估計

      針對每個中間輸出的交叉熵損失函數能夠採用式4來表達,其中β代表全局類平衡的常數。正如圖1中所示,HNNs在已學習權重的基礎上輸出最後的融合概率圖。

       HNN雖然高效,但卻遭遇兩個問題。第一個是不一致的融合輸出,有時它們中間的某些端輸出提供比最終融合輸出更好的結果。第二個問題是許多早期FCN解決方案所共有的一個問題,更深階段有更深層次的抽象,它們的激活輸出在空間分別率方面也更粗糙,阻礙了精細細節的捕獲。這個問題通常使用複雜的多路徑連接[1,7,10]來組合較早的階段的激活輸出,從而實現有粗糙到精細的途徑。


     
雖然現有某些文獻的解決方案有效,但它們需要額外的參數,比如和原來的FCN總數幾乎相當的[1,10],或超過[7]原來FCN的多路徑方案。本文遵循簡單的理念,提出直接的逐行多路徑連接。如圖1所示,本文應用S型函數激活之前使用簡單的加法組合當前和以前階段。因此,這裏改變了HNN3式爲5式的表達,實現這一操作。

      由於激活可以呈現負值或正值,5式強制側輸出通過增加或減去相應的輸出來改善先前的輸出激活。爲此,我們將模型稱爲漸進整體嵌套網絡(P-HNN)。這種逐步增強允許P-HNN放棄融合輸出,避免HNN輸出的不一致。像其他多路徑解決方案,通過多個連接的梯度反向傳播級聯。與其他解決方案不同,這種增強的新功能可以實現最小的複雜性,比標準HNN要求更少的參數。


3 實驗

 4 結論

       這項工作引入了P-HNN,一種基於FCN[8] 病理性肺組織分割的深度學習工具,它結合了深度監督和多路徑連接的強大理念。我們使用一個漸進的多路徑增強的方法來處理普遍FCN粗糙分辨率的問題,該方法在基礎FCN上不需要額外的參數。當在929胸廓CT上進行測試時,P-HNN始終優於(p <0.001)標準HNN,產生平均DS0.985±0.011。與最先進的工具相比, P-HNN也顯着改進了病理性肺組織的分割。因此,P-HNNs提供簡單而高效的手段來生產強大的病理性肺組織分割maskPHNN模型也可以應用於具有其他病態的病理性肺部可以爲其他分割任務提供一個直接而強大的工具。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章