U-Net

U-Net: Convolutional Networks for Biomedical Image Segmentation

U-Net，用卷積神經網絡來做生物醫學圖片分割

Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015: 234-241.

總結

提出了一種深度學習模型來對圖片，本文針對的是細胞的顯微圖像，做語義分割，模型特點主要是沒有全連接層（會丟失位置信息），通過捷徑連接來彌補池化過程中丟失的位置信息，通過上採樣來恢復特徵圖到輸入圖像大小。使用數據擴增和加權損失來解決數據量少的問題。

---

摘要

很多人都堅信深度學習需要大量標註的訓練樣本才能訓練成功。本文提出了一種網絡結構，依靠數據擴增來有效利用數據，用少量的標註數據來訓練。網絡是一個對稱的結構，左邊是減小圖片尺寸，右邊恢復圖片大小，端到端的結構。數據是顯微圖片，ISBI2015冠軍。計算速度快，512圖片在一個GPU上小於1秒。caffe實現http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.

引言

深度學習在圖像領域取得了很大的進步。

在病理圖像方面，有基於深度學習patch分類的方法，根據像素周圍的patch分類來判斷該像素是什麼類，在ISBI2012上提升很大。

該方法有兩個缺點，一是由於重疊patch冗餘而導致計算效率低，二是需要權衡準確率和感受野，增加池化可以增大感受野但是準確率會降低。

模型介紹

本文基於FCN，設計網絡結構，目的在於使用少量的圖片進行更精確的分割。

網絡的左邊是把圖片變小，是一個典型的卷積網絡結構。每一層都是兩個3x3卷積+ReLU，一個2x2步長2的最大池化。右邊通過一個2x2的反捲積進行上採樣，feature map是上層和同級裁剪之後合併，通過2個3x3的卷積+ReLU。最後一層是1x1的卷積，用來生成分類用的分數。

要點

1. 用上採樣來代替池化操作，來增大輸出的分辨率
2. 爲了定位，將特徵提取的高分辨率特徵和上採樣的輸出連接在一起，補充池化中損失的信息
3. 沒有使用任何全連接層，因爲全連接層會損失位置信息，同時沒有全連接層，可以使用任意大的圖片，除非GPU內存不夠
4. 中間黃框是原圖，通過鏡像擴大原圖至藍框大小，放入模型訓練和預測，因爲沒有padding，所以卷積減小圖大小，最後模型輸出是和黃框一樣大小的掩膜

數據擴增

幫助模型學習到需要學習的知識，增加模型的魯棒性。主要使用了翻轉、旋轉、變形和灰度值變換，對於數據集小的情況，變形是一個很好的擴增方法。

損失函數

使用加權交叉熵來計算二分類問題的損失。

E=∑x∈Ωw(x)log(pl(x)(x))$$E=\sum _{x\in \mathrm{\Omega }}w(x)\log (p_{l(x)}(x))$$

其中加權是因爲正負樣本的不平衡，以及多學習邊界的信息，因爲邊界很少。

w(x)=wc(x)+w0e˙xp(−(d1(x)+d2(x))22σ2)$$w(x)=w_c(x)+w_0\dot{e}xp(-\frac{(d_1(x)+d_2(x){)}^2}{2{\sigma }^2})$$

其中wc是類別的頻率，d1是離最近細胞邊界的距離，d2是離第二近的細胞邊界的距離。w0=10,sigma=5 pixel

權重初始化

理想狀態是網絡每個部分的feature map都是單位方差。本文使用的是高斯分佈，標準偏差是sqrt(2/N)，N是一個神經元的輸入數。例如3x3卷積64channel，N=9*64=576

實驗

1. 電子顯微圖像，ISBI2012以來的數據集，訓練集是30張512x512大小的顯微圖片，每張都有對應的01標註的掩膜圖片，測試集是公開的，但是標註沒有公開。評價指標和結果如下：

   
   

2. ISBI cell tracking challenge 2014和2015年，PhC-U373數據集包含35張部分標註的訓練圖片，IOU92%，DIC-HeLa數據集包含20張部分標註的圖片，IOU是77.5%，第二名是46%。

結論

u-net結構在不同的生物醫學分割應用上都有很好的表現。由於靈活的數據擴增，可以在少量的數據上，在短時間內（10小時）得到一個比較好的效果。