https://www.kaggle.com/adalca/learn2reg
https://github.com/learn2reg/tutorials2019
Opportunities and Challenges for Data Fusion
圖像配準-MICCAI簡史（2013）
圖像配準-MICCAI簡史（2018）
2018年使用深度學習的配準方法成爲了主流
圖像配準-MICCAI簡史（2019）
MICCAI 2019-配準論文：
- 24篇論文標題中有“registration”
- 17篇論文標題中有“motion”
- 3篇論文標題中有“deformation”
- 不包含追蹤、圖像引導、融合
- 佔接收論文的8%（~44/538）
Satallite events -3個配準指導：
- Learn2Reg
- AirLab:Autograd Image Registration Laboratory
- Image Registration during Minimally Invasive Catheter-based Interventions
- Segmentation：分割難度50%
- Classification:分類難度19%
- Prediction：預測難度6%
- Localization：定位6%
- Detection：檢測6%
- 其他13%
圖像配準-WBIR醫學圖像配準研討會簡史
- 2018年第八屆國際生物醫學配準研討會8th International Workshop on Biomedical Registration 2018：
![]()
![]()
機遇與挑戰Opportunities and Challenges
深度學習在圖像/疾病分類、檢測、預測和分割方面取得了巨大的進展：
- 大量帶標記/標籤的數據集
- 一般認爲當前的方法優於以前更傳統的方法。
- 仍然面臨領域變化、異常存在等方面的挑戰
圖像配準依然有些落後（limping behind）：
- 由於缺乏基本事實的標記和真實的形變場等
- 在深度學習方法中，配準經常用於數據的增強和預處理
新的配準方法正在新興
回顧傳統配準：
利用優化的方法預測變換
深度學習配準模型：
利用學習的方法計算損失函數
傳統的配準：
- 需要領域知識：單/多模圖像配準，使用圖像協議..
- 需要魯棒的參數調優和設置：加權成本函數，分辨率等級數...
- 需要關於預期變形類型的先驗信息：Rigid,affine,deformable,composite,sliding,volume preserving,...
深度學習配準：
- 傳統代價函數，變換，優化方法有相應的損失函數，變換網絡，訓練
- 在多圖像對上訓練替代了單圖像對的優化。
- 網絡架構設計和相關超參數仍然很重要
- 推理時間超級快-但需要訓練數據和訓練時間!：一些傳統的圖像配準方法也具有接近實時的性能，而且不需要訓練數據——在許多情況下，它們現在可以“開箱即用”
損失函數與傳統註冊代價函數有直接關係!：現有的圖像相似性和正則化方法基本上時可用的，只要他們是可微分的(需要反向傳播)
手動制定的損失函數也有缺點：我們落入了和之前一樣的陷阱，因爲我們沒有直接學習圖像相似性度量(也沒有學習轉換模型)；相反，我們通過使用許多有代表性的數據對來間接地調整與損失函數相關的權重；我們還面臨損失函數中加權項的問題。
與傳統的圖像配準一樣的挑戰。
缺乏足夠的驗證標準:
- Dice係數，目標配準損失，基於強度的度量：這些都是替代措施
- 大量關注對象間的腦部配準(由於有可用的標籤數據)
- 多好纔算好
臨牀價值不明確:
- 也許在圖像引導和跟蹤應用中更清晰
- 但是圖像配準——以及隨後的圖像融合——對臨牀決策有幫助嗎?
靜止的危險!我們目前正在重建我們以前所做的:
- 剛體和形變配準
- 多模配準
- 微分同胚的配準
- 在標準數據集上通常有更好的結果
然而，研究人員正在迴避一些棘手的、臨牀上更相關的問題：解剖和疾病變異性，正常和異常的增長模式，複雜的生理運動，新興的成像技術，圖像採集中的運動...
把深度學習當作配準(或其他任何地方)的黑盒子是錯誤的:
- 需要整合先驗的知識：解剖學，生理學，影像物理學
- 需要發現和研究已獲得但隱藏的新知識：運動模型，權重和損失
- 需要找到可以在域之間傳輸的通用解決方案：例如，低劑量和高劑量CT，不同的MR協議，不同的放射性示蹤劑；
- 需要迎合患者特定問題與人羣一般問題：多模式，動態或縱向配準是針對患者的；地圖集和截面配準需要爲一個人口工作
以下是一些機遇和挑戰:
案例研究1:胎兒頭部合成
![]()
![]()
![]()
![]()
![]()
![]()
![]()
- 迭代空間變換網絡給出了一個精確對齊任何給定初始方向。
- 在以前的方法失敗的情況下，對胎兒/探針快速運動有很強的適應能力。
- 多視圖圖像的姿態校正
- 迭代與顯著性加權
- 可視化渲染結果
剩餘的挑戰：
- 超聲波幀率-最終我們想做實時實現
- 超聲波失真-目前傳統解決方法是，低參數b樣條配準
- 位姿校正仍然需要對atlas進行初始配準-而atlas是通過常規配準形成的
- 胎兒的微小變形-吞嚥液體，嘴脣張開/閉合，…
- 胎兒的較大變形-四肢靠近臉，吮吸拇指，…
案例研究2:胎兒全身合成
