形狀一致的生成對抗網絡 SC-GAN —— 無監督域適應
文章原文：Yu, Fei, et al. “Annotation-Free Cardiac Vessel Segmentation via Knowledge Transfer from Retinal Images.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
創新點
- shape-consistent generative adversarial network (SC-GAN). 一種域適應的 image-alignment 的策略，其關鍵點在於確保生成的圖像具有和 source domain 以及 target domain 相同的血管結構。
- 知識遷移的視角 (domain adaptation)。大部分利用 Cycle-GAN 這樣的 unpaired image translation 的策略，且僅僅考慮相同解剖結構不同成像方式 (MRI-T1, T2…) 之間的轉換。
解決策略
1. 問題定義
source domain 是有手工標籤的視網膜血管，target domain 是無標籤的DSA數字減影圖像。想要模擬生成的圖像同時具有 source domain 和 target domain 的血管結構，且具有 target domain 的背景風格。–> 可以理解成一種融合圖，其關鍵在於得有 target domain 的背景風格。
2. 框架
- 具有 shape consistency 約束的 generator，生成融合圖 (Fake B)。其中 shape consistency 想要保證融合圖具有和 source domain (Real A) 相同的視網膜血管結構，通過 source domain 自帶的分割標註可以確保；同時 shape consistency 也使得融合圖具有和 target domain (Real B) 相同的冠狀動脈結構，由於沒有 target domain 的手工金標準，因此 用 Frangi filter 得到的結果作爲 target domain 的僞標籤，確保大體上的 target domain 中的血管結構能夠出現在融合圖中。
- Discriminator，來確保融合圖具有 target domain (Real B) 的風格。因爲血管部分的風格通過 shape consistency 已經得到的約束，此處只需要確保融合圖的背景具有相同風格即可。
- Segmentor 來完成分割任務。輸入是具有兩種血管結構和 target domain 風格的融合圖，以及其對應的生成標籤。注意此處 生成的標籤包含了 真實的 source domain 的手工標籤和 target domain 的僞標籤。
分析
- 大家可以考慮一個問題，如果我不是採用這樣的融合圖的方式，而是用 feature disentangle 的方法生成具有 target domain 風格的 僞source domain 圖，以及具有 source domain 結構的 僞target domain 圖。這樣的結果會比這篇文章好嗎？**這裏我大膽猜測一下 —— 效果應該不會比較好，因爲生成的 僞target domain 圖本質上是沒有標籤的，而如果用 Frangi filter 得到的結果作爲 僞標籤可能會造成網絡對於噪聲的過擬合。**所以文中採用的融合圖的方式的確能夠避免 僞標籤帶來的影像。
- 其實本質上這個工作就是 domain adaptation 中 image-alignment 的工作，只不過這裏作者把 source 和 target 兩種域對齊到了另外一種共有空間上，而不是 source -> target 或者 target-> source 的單向對齊。