https://www.kaggle.com/adalca/learn2reg
https://github.com/learn2reg/tutorials2019
Unsupervised deep learning image registration: Beyond the cranial vault
- 通過Moving+變換模型->重採樣器
- 將重採樣器作用在moving上生成warped
- 通過warped和Fixed計算圖像相似度
- 將圖像相似度通過優化器更新變換模型參數
- 迭代更新
Sunnybrook Cardiac Data心臟數據：心臟影響MRI
45個MR圖像
訓練集、驗證集、測試機都是15個
圖像尺寸256x256x~10x20層voxels
2D slices 配準
兩個不同的時間點
同樣的掃描和切片位置
形變配準
- 3D
- B樣條B-splines
- 基於塊 Patch-based
- 全卷積Fully convolutional
- 彎曲能量損失Bending energy penalty
- 3x3x3 convolutions
- 2x2x2 avg.pooling
- 32 kernels/nodes per layer
- 轉置卷積的b樣條配準
- 每個DL包中都有(除了b樣條核）
正則化
彎曲能量損失
![P=\frac{1}{V}\int_0^X\int_0^Y\int_0^Z[(\frac{\partial^2T }{\partial x^2})^2+(\frac{\partial^2T }{\partial y^2})^2+(\frac{\partial^2T }{\partial z^2})^2+2(\frac{\partial^2T }{\partial xy})^2+2(\frac{\partial^2T }{\partial xz})^2+2(\frac{\partial^2T }{\partial yz})^2]dx dy dz](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?P%3D%5Cfrac%7B1%7D%7BV%7D%5Cint_0%5EX%5Cint_0%5EY%5Cint_0%5EZ%5B%28%5Cfrac%7B%5Cpartial%5E2T%20%7D%7B%5Cpartial%20x%5E2%7D%29%5E2+%28%5Cfrac%7B%5Cpartial%5E2T%20%7D%7B%5Cpartial%20y%5E2%7D%29%5E2+%28%5Cfrac%7B%5Cpartial%5E2T%20%7D%7B%5Cpartial%20z%5E2%7D%29%5E2+2%28%5Cfrac%7B%5Cpartial%5E2T%20%7D%7B%5Cpartial%20xy%7D%29%5E2+2%28%5Cfrac%7B%5Cpartial%5E2T%20%7D%7B%5Cpartial%20xz%7D%29%5E2+2%28%5Cfrac%7B%5Cpartial%5E2T%20%7D%7B%5Cpartial%20yz%7D%29%5E2%5Ddx%20dy%20dz)
全局圖像配準
- 仿射配準affine registration
- 不同的輸入尺寸different size input
- 3x3x3卷積3x3x3 convolutions
- 2x2x2平均池化層2x2x2 avg.Pooling
- 每一層32個核32 kernels per layer
Multi-stage image registration
在DIRLab數據上的評估 Evaluation on DIRLab data
- 吸氣-呼氣胸部CT
- 評價:人工標註表示的TRE
- 從粗到精的圖像配準:
第1步：5.12（4.64）mm
第2步：3.40（4.17）mm
第3步：2.64（4.32）mm
Direct calcium scoring
用於實時自動心血管疾病(CVD)風險分類For real-time automatic cardiovascular disease (CVD) risk categorization
圖像組配準框架Group-wise image registration framwork
從心臟CT創建一個atlas圖像Creating an atlas-image from cardiac CT
配準速度
目前基於深度學習圖像配準速度較快：
- 心臟Cardiac MR(256x256)2D->~10ms
- 心臟Cardiac MR(256x256x10)3D單步->~30ms
- 胸部Chest MR(resampled 110^3 - 220^3)->~0.43s
Take-home messages
- 目前還沒有一個放之四海而皆準的解決方案
- 訓練需要一些時間，但推理很快
- 推理時間主要受GPU I/O-time的限制
- 本機分辨率對gpu顯存的要求很高
- 需要大量的訓練數據，但訓練是無監督的
- 使用現有的DL庫構建塊很容易實現
- 傳統的圖像配準技術可以很好地應用於無監督深度學習圖像配準
