論文筆記——U-Net

Abstract

relay on the strong use of augmentation
a contracting path to capture context and a symmetric expanding path that enables precise localization

1 Introduction

1. Krizhevsky等人的AlexNet在ImageNet數據集上使用了8層CNN和百萬級別的參數數量，同時他使用的訓練集規模也在百萬
2. Hence,Ciresan等人訓練了一種滑窗網絡用來預測每個像素的標籤，該網絡的輸入是以像素爲中心的一個區域。
   優點：
   (1）具有局部感知能力
   (2）用於訓練的樣本數量遠大於訓練圖像的數量
   缺點：
   (1) slow 每個patch都需要運行一遍 ，重疊patch上有冗餘
   (2) 在局部準確率和上下文信息的使用中有一個權衡（最近的方法提出了一個分類器輸出，利用了多層的特徵）
3. U-Net基於FCN，高分辨率特徵通過連接path和上採樣的結果相結合
4. 在FCN上的一個重要改進是：上採樣部分使用大量的特徵通道，來允許網絡傳播環境信息到高分辨率層。網絡沒有全連接層，只使用valid卷積。通過overlap-tile策略對任意大小的圖像進行無縫分割。爲了·預測圖像的邊緣區域的像素，缺失的環境信息通過鏡像法外推
5. 使用了彈性形變來擴充訓練數據，生物醫學圖像中學習不變性很重要
6. 另一個挑戰是分離緊密相連的同類物體，爲此，我們使用了加權損失，分離緊密相連細胞的背景獲得了一個大的權重
7. 網絡適用於多種生物醫學分割問題。

2 Network Architecture

1. 收縮路徑（左側）：兩個3X3 valid卷積+ReLU+2X2 max pooling(stride 2)
2. 上採樣路徑（右側）：upsampling(2X2 up-convolution)+連接對應的收縮路徑+2個3X3卷積+ReLU
3. 最後採用1X1卷積將64個特徵向量映射成一個分類標籤
4. 爲了允許無縫tile，選擇輸入tile size非常重要，這樣所有的2x2的max池化操作應用到偶數x和y

3 Training

1. 方法：SGD，框架：Caffe，
   我們對大batch使用了大的輸入tiles，因此把batch降到了單張圖像
   使用高momentum（0.99），這樣大量的訓練數據決定當前優化步驟的更新
2. 能量函數由交叉熵損失函數和soft-max計算
   
   
3. 預計算了label的權重圖來補償訓練數據集中某個特定類的像素的不同頻率，並強制網絡學習小的分離邊界，分離邊界的計算採用形態學操作：
   
4. 權重初始化相當重要，我們使用高斯分佈初始化權重，標準差爲 $\sqrt {2/N}$，其中N表示一個神經元的輸入節點是的數量

3.1 Data Augmentation

再小訓練樣本的情況下，數據增強對網絡學習不變性和魯棒屬性具有重要作用。使用隨機位移矢量在粗糙的3×3網格上生成平滑變形。位移矢量是從標準差爲10的高斯分佈中採樣的。然後使用雙三次方插值計算每個像素位移。 收縮路徑末端的dropout層執行進一步的隱式數據增強。

4 Experiments

在三個分類任務上進行了驗證，效果比之前的網絡稍微有所提升。

5 Conclusion

1. 在不同的生物醫學分割任務中都取得了很好的表現
2. 通過彈性形變進行數據增強，只需要非常少的標記數據，且訓練時間小。