弱監督系列論文彙總表
|
序號 |
發表情況 |
要點 |
|
1 |
ISBI2018 |
弱監督配準框架 |
|
2 |
MIA2018 |
多尺度Dice，新的網絡，大量的實驗 |
|
3 |
TMI2018 |
GAN來代替形變場正則項 |
1、Label-Driven Weakly-Supervised Learning For
Multimodal Deformable Image Registration
- 問題
多模態醫學影像配準當前的主要方法及面臨的問題。
- 基於灰度相似性測度的方法。傳統配準方法經常以圖像間的相似性測度作爲優化目標，當前的深度學習非監督配準方法也主要是以相似性測度作爲目標函數。但是多模態的影像很難找到魯棒的相似性測度。
- 基於特徵的方法。特徵的設計和提取麻煩，而且人工設計的特徵對數據敏感。
- 深度學習監督學習。要事先得到形變場作爲金標準。
- 方法及創新點
作者提出了標籤驅動的弱監督配準框架來進行多模態醫學影像配準，來解決上述的問題。論文涉及的具體應用是3D的MR圖像和超聲圖像配準。
標籤驅動弱監督的配準框架
-
![]()
圖1 標籤驅動弱監督的配準框架
將待配準的圖像對concat之後輸入到神經網絡中，網絡直接回歸出形變場，然後浮動圖像的標籤根據形變場扭曲得到扭曲後的標籤，網絡訓練時的目標函數就是扭曲標籤與固定圖像標籤的相似性測度還有形變場的正則項。由於標籤並沒有輸入到網絡中而是直接輸入到重採樣器去產生形變，所以測試的時候不需要標籤信息（圖中紅色虛線部分只有訓練過程纔有）。跟常見的非監督配準方法相比，這裏主要是用標籤的相似性測度來代替了圖像之間的相似性測度，因爲多模態圖像之間的相似性測度不好設計，但是標籤之間的相似性測度就好設計一些。另外標籤信息參與訓練也相當於給網絡提供了輔助的監督信息（個人理解）。
標籤的選取和處理
標籤可以是圖像上任意獨特的結構（ad hoc structure），包括器官，血管，關鍵點，導管等等，每個結構都可做成一張二進制掩膜作爲標籤。因此訓練時，一對待配準的圖像有多對標籤，採用minibatch梯度下降算法訓練網絡，每次迭代隨機採用一對標籤參與訓練。
標籤的使用權重
同時，爲了減輕標籤的不確定性帶來的影響，對那些更加可靠的標籤採樣次數更多，這個通過在訓練前對高置信度的標籤做重採樣實現。
標籤的預處理
比較直接的一個想法是計算扭曲後的mask與固定圖像的mask之前的二進制交叉熵作爲目標函數，也就是把任務視作一個像素級別的二分類問題，判斷兩張mask相同位置的像素是否對應（都是前景1或者都是背景0）。但是這樣做存在的一個顯著問題是權重問題（weighting）。
二進制交叉熵（BCE）是將一張圖上的所有像素同等對待的，也就是說，圖像每個像素對目標函數的影響（權重）是一樣的，這對於分割任務來說沒有問題，但對於配準任務這就不太合理了。比如，對於配準任務，邊緣的像素相比非邊緣的應該更重要些，前景相比背景應該更重要些，面積更小的那些解剖區域相比大面積的應該更重要些。
爲了解決這個問題，作者在該篇論文中提到了一種標籤平滑的方法作爲標籤的預處理方法。在之後MIA的論文中又提出了多尺度Dice來解決這一問題。此處就跳過標籤平滑的預處理方法了，把重心放在多尺度Dice上面。
網絡架構
理論上，網絡直接預測形變場是能夠將局部和全局的形變都擬合的。但是實踐發現，對於標籤沒有覆蓋的區域，這樣產生的配準誤差非常大，所以作者採用了一個全局網絡來學習全局形變，然後通過局部網絡得到局部的形變，最終的形變場是全局形變和局部形變的疊加。
局部網絡採用的是作者之前從超聲圖像中分割前列腺的網絡，一個Unet型的網絡，主要改動主要在最後一層，加了個卷積和偏置，沒有BN和激活函數，使得最後一層可以隨機初始化爲均值爲0偏移量很小的值。全局網絡採用的局部網絡的下采樣部分，更改了輸入通道數，最後一層添加了全連接層來回歸出仿射矩陣的12個參數。
網絡訓練時，先對全局網絡進行了預訓練，然後再一起訓練。
順帶一提，在2018MIA的論文中，已經取消了全局網絡，只用一個網絡直接輸出形變場。
- 評價指標和結果
關鍵點的平均距離：4.2mm
前列腺分割標籤的Dice:0.88.
2、Weakly-supervised convolutional neural networks for multimodal image registration
這篇論文的工作可以看做前篇論文工作的改進。我們來看看這篇論文的主要貢獻：
- 弱監督圖像配準框架詳細的方法描述
- 多尺度Dice的提出
- 捨棄了之前全局網絡的新網絡
- 大量的實驗及分析
- 弱監督的配準框架
![]()
圖5 弱監督框架示意圖 上篇論文已經介紹過了這個框架，這裏主要是對這個框架更詳細的描述。
來看下網絡的優化目標吧。
![]()
方括號裏面的第一項是標籤之間的相似性測度\，第二項是形變場的正則項。其中形變場的正則項有很多選擇，比如bending energy,位移場梯度的L1或L2範數。
- 多尺度Dice
上面也提到過，直接採用二進制掩膜作爲標籤計算二進制交叉熵會存在權重問題，同理，計算Dice或者Jaccard也會存在相同的問題。上篇論文的解決方法是對label做預處理，這篇論文是改變相似性測度——使用multiscal Dice。
先看Dice的公式：
可以看成2倍的交併比。
再來看多尺度Dice的公式：
從公式可以看到，這裏實際上也是對標籤做了預處理（高斯濾波），然後再計算Dice，與上篇論文不同的是它將預處理嵌入到了loss中，預處理操作更簡單高效。這裏的多尺度指的是選用了多個不同標準差的高斯濾波器對標籤進行濾波，生成多張標籤，最後計算它們Dice的平均值。
作者在文中還列舉了在設計標籤的相似性測度要考慮的一些要素，這裏我沒有看太懂，姑且複製粘貼下來供以後查閱。
- 網絡架構
這篇論文拋棄了之前的全局網絡部分，提出了一個新的網絡架構。它在不同分辨率的特徵層上預測形變場，然後對這些形變場求和。作者認爲在低層上預測的形變場能夠提供全局信息，作用相當於前文的全局網絡，但比單獨的全局網絡佔用的內存小很多。
來看看具體的網絡架構吧。（可與圖4的網絡比較）
仔細比較圖7和圖4可以發現主體的網絡（Unet部分）還是一樣的，仍然是之前前列腺的分割網絡。主要的區別在於下面部分——深監督的引入。網絡從s0~s4五個不同尺寸的特徵圖上引出五個節點，各自經過卷積、偏置還有上採樣操作得到尺寸爲原圖s0通道數爲3的位移場求和子，然後將這五個求和子求和得到最終的形變場。這樣子求得的形變場就融合了不同層次的信息，從低層的全局信息到高層的局部信息。
- 實驗
評價指標仍然是前作的兩個。
先看目標函數上面做的消融實驗。一個是將多尺度Dice換成了多尺度二進制交叉熵，在TRE指標上變差過了很多，估計是網絡對大體積的分割信息過擬合。另一個是改變了正則項，發現對結果的影響也比較大。
第四行的實驗是在訓練網絡之間就用高斯濾波器對標籤做預處理，計算loss時直接計算Dice。這樣訓練可能能快一些，同時對配準精度影響不大。
最後四行的實驗是對網絡結構的比較。比較第一行和第五行的結果可以看到深監督機制的確能帶來指標上的提升，但並不顯著。其中第五行的網絡差不多就是之前論文中的局部網絡，但是比較第5行的指標和第8行的指標發現第五行的指標竟然更低？比較第一、八行數據可以看到網絡結構的改變的確帶來了精度的一定提升，但可能貢獻更多的還在於效率上的提升。另外，作者既然做了全局網絡的實驗，爲什麼沒有做局部網絡的實驗呢？之前局部網絡和第五行的網絡差距又在哪裏使得五、八的指標竟然相當？
作者還比較了其它一些基於相似性測度的配準方法，在作者的測試集上誤差都比較大，這裏就略去了。
3、Adversarial Deformation Regularization for Training
Image Registration Neural Networks
這篇論文可以看做前兩篇論文的拓展。第一篇論文提出了基於標籤驅動的弱監督配準框架，第二篇論文探討了目標函數的設計和網絡的設計，而本篇論文就討論了形變場正則項的設計，並引入了GAN的思想來做形變場的正則化。
簡單來看看這篇論文吧。
黑色的部分就是論文相比前文改動的地方，用傳統的配準方法實現生成一個局部的形變場作爲金標準，然後設計了一個判別器來判斷生成器生成的局部形變場是真是假，也就是說用這個判別器來做局部形變場的正則化，正則項就包含在了生成器的生成loss中。
基本思想就是這樣，我覺得這樣做差不多就是把監督學習和弱監督學習結合了起來，送給了網絡更多的輔助信息，把這裏的判別器直接換成平方根誤差或許也未嘗不可？
看看實驗結果吧。
從表中可以看到引入GAN的確評價指標顯著提高，但是，我覺得這樣對比真的科學嗎？像bending energy,l2範數這些正則項是直接對生成的形變場計算梯度之類，並沒有引入其他的輔助信息，而本文的方法直接引入了一個其他配準方法生成的局部形變場作爲輔助信息來約束網絡的訓練。
參考文獻
【1】https://github.com/YipengHu/label-reg#section2-4
【2】Hu, Y. , Modat, M. , Gibson, E. , Ghavami, N. , Bonmati, E. , Moore, C.M. , Emberton, M. , Noble, J.A. , Barratt, D.C. , Vercauteren, T. , 2018. Label-driven weakly-supervised learning for multimodal deformable image registration. Biomed. Imaging (ISBI) 2018 IEEE 15th Int. Symp .
【3】Yipeng H , Marc M , Eli G , et al. Weakly-Supervised Convolutional Neural Networks for Multimodal Image Registration[J]. Medical Image Analysis, 2018.
【4】Hu Y , Gibson E , Ghavami N , et al. Adversarial Deformation Regularization for Training Image Registration Neural Networks[J]. 2018.