胎兒MRI高分辨率重建技術：現狀與趨勢（暫總結到2017年）

1， 胎兒MRI及其特點

在產前影像檢查中，超聲是最常用的成像方式，但是由於對比度低、視野狹窄、信噪比低等原因不能不能很好地顯示胎兒的細節結構，例如發育中的大腦、內臟等。如果超聲檢查中發現胎兒的一些疑似結構異常，使用MRI可以作爲補充檢查，提供更詳細的結構信息，因爲MRI有較好的軟組織對比度，視野較大，信噪比高，無輻射，並且可以採集任意切面的圖像信息，能看到一些超聲中不易發現的結構。胎兒MRI正成爲日益重要的一種影像檢查。

但是MRI採集過程通常較長，而胎兒可能在這段時間會有運動，容易造成運動僞影。因此，臨牀上使用快速成像方式，比如SSFSE，該成像方式可以以不到一秒的時間得到一張高分辨率的二維切片，但是不同切片之間仍然受到胎兒的運動影響，相互之間有位移偏差，並且層間距較大，一般是3-4mm，因此得到的三維數據實際是由一堆二維切片疊起來的，稱之爲一堆（stack），其三維分辨率低，如下圖所示。

 

左圖是一張胎兒大腦的二維切片（冠狀面），中和右圖是與之正交的兩個其他方向（矢狀面和橫截面）的圖像。可以看到除了冠狀面以外，從其他方向看，圖像受到胎兒運動的影響，分辨率也很低。

 

由於MRI可以從不同截面採集數據，通常胎兒MRI可以分別從冠狀面、矢狀面和橫截面等三個正交方向進行採集，以得到分別在三個方向分辨率高的二維切片， 如下圖中stack1-stack3。這三個stack提供了互爲補充的分辨率信息，但都沒有高的三維分辨率，並且相互之間由於胎兒或者母親在掃描過程中的運動而沒有對齊。

 

高分辨率重建的原則就是將stack1到stack3或者更多低三維分辨率的stack結合起來，產生一個在不同方向都具有高分辨率的圖像，如上圖中最後一行所示。

 

2， 高分辨率重建的流程

2.1 第一代方法：ROI提取、配準、對比度校正和插值

步驟1： 在採集到不同截面的幾個stack數據後，先要感興趣的區域提取出來，以避免其他區域的干擾。例如要對胎兒的大腦進行重建，需要將腦部區域分割出來，去除母體組織和胎兒的其他組織。這個過程可以使用手動分割、半自動或者全自動的分割方法。

步驟2：不同的低分辨率圖像（stack）之間需要對齊，這個過程一般使用三維剛性配準。受到運動影響較小的一個低分辨率圖像可作爲參考圖像，將其座標空間定義爲目標高分辨率圖像的座標空間，並將其他低分辨率圖像向參考圖像配準。

步驟3：由於同一個stack中的不同切片仍然存在位移偏差，需要再將各個切片對齊到高分辨率圖像的座標空間。這個過程是一個二維切片與三維數據之間的配準，稱之爲SVR（slice to volume registration），初始的高分辨率圖像由步驟5得到。

步驟4：將各個stack和切片都配準後，考慮到不同的stack之間存在的灰度偏移，可能存在不一致的灰度信息和對比度信息。因此選擇一個參考圖像，將其他圖像的對比度調整到與之接近。

步驟5：完成上述步驟後，各個圖像之間和切片之間的相對位移和不一致的對比度得到矯正，可以插值得到一個的高分辨率圖像。對於原始低分辨率圖像中的各個像素x和其在高分辨率圖像中對於的座標點y， 使用一個函數f將x的灰度值插入到重建圖像中，f是一個以y爲中心的核函數。f可以是高斯函數，或者B-樣條插值函數等。爲了與圖像採集的物理過程更吻合，f一般需要與數據的點分佈函數（point spread function, PSF）匹配。對於MRI，點分佈函數沿着切片垂直的方向可當做高斯函數，而在切片之內可當做sinc函數。

由於初始的SVR配準存在較大誤差，步驟3和步驟5可以交替進行多次，以得到更好的結果。

上述流程是在 （Rousseau 2006）這篇文章中首次提出的(代碼)。(Kim 2010) 認爲該方法由於在做SVR配準之前需要得到一個初始高分辨率圖像，而該初始高分辨率圖像並不準確，會影響配準的效果，進而影響最終的重建結果，另外由於多次迭代，計算量大。(Kim 2010)提出直接將所有的切片配準，不依賴於初始高分辨率圖像，該文章中使用了一種基於切片相交線的配準方法，如下圖所示：

該方法的出發點是，同一個物體的兩個正交的圖像切片總存在一條交線，這兩個切片可以通過調整空間變換的參數，使它們在相交線上的灰度達到最大程度匹配進而將他們對齊， 該配準方法的目標函數爲

其中是來自同一個物體的N張不同的切片，是他們各自的空間變換參數。是一個衡量兩個不平行的切片 i 和 j 在相交線上灰度吻合程度的函數，定義爲：

其中是相交線的參數化表示，其參數爲是一個權重函數。通過對該目標函數使用基於梯度下降法的最優化方法求解，可達到所有切片最優對齊的結果，對齊後可以再使用插值法（例如上述步驟5）得到重建的高分辨率圖像。

 

2.2 第二代方法：基於逆問題的最優化重建

（Rousseau 2006）和 (Kim 2010)比較直觀，但是缺少數學表達，通過插值法得到的高分辨率圖像也不是最優解。在數字圖像處理領域，高分辨率圖像重建一般通過逆問題的最優化解來實現。（ Gholipour 2010）將這一思想首次應用到胎兒MRI的重建，圖像採集的過程可以描述爲：

基於逆問題的最優化重建，就是求解，使如下代價函數最小化：

其中可以是l2範數，這種情況下假設是服從高斯分佈的噪聲。如果噪聲服從拉普拉斯分佈， 則可使用l1範數。爲了使重建過程對奇異值不敏感，得到穩定的重建結果，（Gholipour 2010）將定義爲Huber函數：

 

其中是對重建結果按照成像方式得到的低分辨率圖像與觀測到的低分辨率圖像之間的差異。當較小時，接近l2範數，而當較大時，接近l1範數。

由於逆問題的的解不是唯一的，通常要對目標函數加上約束條件，例如l2範數的規範化約束，目標函數變爲：

 

再做超分辨率最優化重建之前，各個低分辨率圖像也需要先配準，並且使用插值法得到一個初始高分辨率圖像。因此重建的流程爲：

 

由於上述規範化方法傾向於使圖像顯得平滑，不能很好地保留圖像中的邊緣信息。

(Kuklisova-Murgasova 2012)對（Gholipour 2010）進行了擴展，其貢獻有三點：其一，爲了防止圖像太平滑，使用保留邊緣的規範法方法，將規範化項設定爲：

 

其中, d代表兩個相鄰像素間的位移向量。其二，(Kuklisova-Murgasova 2012)還提出了更好的提高重建魯棒性的方法，相較於使用Huber函數，該文章使用EM算法對每一個像素和每一個slice屬於正常範圍和奇異值的概率進行建模。第三，該文章考慮了MRI成像過程中由於磁場強度不均勻而造成的灰度偏移問題，將實際採集到的圖像灰度表示爲：

 

其中是每一張slice中的灰度倍數因子，是每一個像素的偏移場參數。將上式代入超分辨率重建的目標函數中，可以對和分別求導，從而可用梯度下降法求得最優值。

(Kuklisova-Murgasova 2012)將SVR和重建過程交替迭代多次，整個流程圖爲：

 

該方法和使用Huber函數的方法及不考慮灰度偏移的方法的對比如下：

 

 

（Kainz 2015 代碼)在 (Kuklisova-Murgasova 2012)的基礎上，提出了基於GPU的快速重建方法，對SVR和SR的部分都使用了GPU的優化。使用三個stack的數據，目標體素大小爲1.0mm的重建，使用單個CPU重建的時間爲76.38min,而使用單個GPU重建的時間爲5.70min。該文章還提出了一種自動選取受到胎兒運動影響最小的stack作爲三維配準的參考圖像的方法。

 

上述的所有方法都有兩個顯著的缺點：一是重建的區域較小，比如僅侷限於胎兒的大腦或者其他單個器官，無法得到清晰的整個胎兒圖像。二是使用剛性配準，假設一張slice中所有部位都朝着一個方向運動。這也是限制能夠重建的區域的大小的原因。 (Alansary 2016 代碼)在（Kainz 2015）的基礎上，提出了可以重建整個胎兒區域的方法。其核心是Patch-to-Volume Registration，即PVR。爲了解決配準中複雜的變換，PVR將一個slice分解成若干個子區域，對每個子區域分別進行剛性配準，計算各種的空間變換。這樣的方法，就能夠使整個胎兒區域都有比較好的配準。

 

其中子區域的劃分，可以使用基於格子的方法，也可以使用super pixel。完成PVR配準後，再使用(Kuklisova-Murgasova 2012)和（Kainz 2015）所提出的超分辨率重建方法，流程圖如下：

 

 

下圖是對整個胎兒區域重建前後的對比：

 

 

2.3 第三代方法：使用深度學習的配準和重建

 

最近已經開始有不少的工作嘗試使用深度學習來解決高分辨率重建的問題，例如<深度學習在圖像超分辨率重建中的應用>這篇博文所提到的。在胎兒MRI重建（或與之類似的心臟MRI重建）的問題中，兩個基本的子問題：slice的對齊和對齊後的SR問題，都可以使用深度學習來解決。

心臟MRI也存在目標運動帶來的問題，與胎兒MRI類似，也可以利用多個受到運動影響的stack重建一個高分辨率的圖像。 （Oktay 2016）提出了一個使用CNN重建心臟MRI的方法，如下圖所示：輸入是一幅心臟短軸圖像和一幅長軸圖像，將二者按照相同的座標格子重採樣以後得到同一個座標格子上的兩幅圖像，分別對它們使用基於CNN的卷積，得到特徵圖，然後將二者融合在一起，再經過幾次卷積，得到最後的輸出。

該方法的重建效果如下：

 

 

（McDonagh 2017）受到（Oktay 2016）的啓發，將相關的方法用到胎兒MRI中來。其流程圖如下，其想法是對初始的低分辨率stack使用CNN得到對應的高分辨率stack, 但是stack之間和同一個stack的內部的motion問題沒有解決，因此再使用SVR做重建。

 

（Hou 2017）嘗試使用卷積神經網絡來預測SVR中的2D slice到3D volume的變換參數，將其視爲一個迴歸問題。 由於SVR的配準需要一個比較好的初始變換參數，否則容易得到局部最優值而無法有很好的配準效果，初始變換參數越接近於最優解，配準過程就越快，效果就越好。

 

其方法如上圖所示，對於一個stack中的每一個slice，將其作爲CNN 的輸入，預測變換參數是通過預測三個參考點的座標來進行的。以此得到初始變換以後，再通過SVR來進行重建。

 

 

總結：胎兒MRI的重建是利用不同方向採集的若干個低分辨率的並且受到運動影響的stack重建出一個高分辨率的體數據。主要包含兩步，一個是stack之間的配準和slice到volume的配準，一個是對配準後的圖像使用SR技術。目前大多數的方法都只考慮剛性變換和較小的區域。最近深度學習開始用到這個問題上來，配準問題和SR問題都可以使用深度學習來完成，從而可得到更快、更好的結果。

參考資料：

【1】Rousseau, Francois, et al. "Registration-based approach for reconstruction of high-resolution in utero fetal MR brain images." Academic radiology 13.9 (2006): 1072-1081. 代碼

【2】Kim, Kio, et al. "Intersection based motion correction of multislice MRI for 3-D in utero fetal brain image formation." IEEE transactions on medical imaging 29.1 (2010): 146-158.

【3】Gholipour, Ali, Judy A. Estroff, and Simon K. Warfield. "Robust super-resolution volume reconstruction from slice acquisitions: application to fetal brain MRI." IEEE transactions on Medical Imaging 29.10 (2010): 1739-1758.

【4】Kuklisova-Murgasova, Maria, et al. "Reconstruction of fetal brain MRI with intensity matching and complete outlier removal." Medical image analysis 16.8 (2012): 1550-1564.

【5】Kainz, Bernhard, et al. "Fast volume reconstruction from motion corrupted stacks of 2D slices." IEEE transactions on medical imaging 34.9 (2015): 1901-1913. 代碼

【6】 Alansary, Amir, et al. "PVR: Patch-to-Volume Reconstruction for Large Area Motion Correction of Fetal MRI." arXiv preprint arXiv:1611.07289 (2016). 代碼

【7】Oktay, Ozan, et al. "Multi-input Cardiac Image Super-Resolution Using Convolutional Neural Networks." MICCAI 2016.

【8】 Hou, Benjamin, et al. "Predicting Slice-to-Volume Transformation in Presence of Arbitrary Subject Motion." arXiv preprint arXiv:1702.08891 (2017).

【9】McDonagh, Steven, et al. "Context-Sensitive Super-Resolution for Fast Fetal Magnetic Resonance Imaging." arXiv preprint arXiv:1703.00035 (2017).

【10】 深度學習在圖像超分辨率重建中的應用