最詳細的U-net論文筆記

 個人博客：http://www.chenjianqu.com/

原文鏈接：http://www.chenjianqu.com/show-84.html

 

論文：Olaf Ronneberger, Philipp Fischer, and Thomas Brox.U-Net: Convolutional Networks for Biomedical Image Segmentation.

 

素質三連

1.論文貢獻

在FCN的基礎上提出了U-net語義分割網絡。

應用了Overlap-tile策略、彈力形變數據增強和加權損失                。

2.實驗結果

在生物醫學圖像分割方面的ISBI挑戰賽中獲得第一。

3.待解決的問題

U-net使用的彈力形變、加權損失等策略很多其它任務上並不適用。

 

U-net語義分割模型

1.模型提出

    前面寫過FCN的閱讀筆記，FCN將VGG16的FC層轉換爲1x1卷積層，後接上採樣層再加上skip結構。本論文提出的語義分割模型在FCN基礎上進行改進，只需很少的樣本，就得到更高的分割精度。相比與FCN，本文提出的模型在上採樣部分的卷積層有更多的通道，這可以將context信息傳播到更高分辨率的層。本文的提出的模型中，用於特徵提取的收縮網絡，和用於還原分辨率的擴張網絡，呈現對稱的U型架構，因此稱爲U-net，如下圖：

    就語義分割來說，要預測輸入圖片每個像素對應的標籤。但從如上圖可以看到，U-net中所有的卷積層都是unpadded的(猜想：padding太多的話，會引入誤差)，導致是輸入圖片和輸出分割圖的分辨率不同。爲了解決這個問題，作者採用Overlap-tile策略：將輸入圖片進行padding，使模型輸出分割圖的分辨率符合需求。Padding時缺失數據的部分通過鏡像實現。Overlap-tile的實例如下：

    U-Net的提出主要爲了解決生物醫學圖像分割問題，任務數據集一般很小，因此這裏主要使用彈性形變(elastic deformations)進行數據增強，這有利於模型學習平移不變性。彈性形變對生物醫學分割很有效，因爲生物醫學圖像的組織變化很常見。

    細胞分割任務中的一個難點是分離同類別的相互接觸的目標。爲此，這裏提出了一種加權損失的方法，這樣相互接觸細胞的分割邊界獲得更大的權重。如下圖所示：

 

2.詳細架構

    整個網絡有23層卷積層。網絡的左邊是收縮網絡，右邊是擴張網絡。

    收縮網絡由多組卷積神經網絡組成，每組由兩層3x3 unpadded卷積層組成，每個卷積層後使用ReLU。每組之間使用size=2，stride=2的最大池化進行下采樣。每組第一次卷積時，將特徵圖通道數增加一倍。

    擴張網絡的也是由多組卷積層組成，每組先使用2x2的up-convolution(轉置卷積)將分辨率翻倍、通道數減半，然後與收縮網絡中對應的層的輸出特徵圖concatenation。但是因爲U-net全部使用unpadded卷積的緣故，對應的收縮網絡的特徵圖的分辨率更高，因爲使用Overlap-tile策略，因此可以直接將收縮網絡對應的特徵圖四周裁剪後再拼接到擴張網絡特徵圖中。拼接後接兩個unpadde的3x3卷積層，每個卷積後接ReLU。擴張網絡的最後一層是1x1卷積層，將通道數由64轉換爲類別數。

 

3.訓練

訓練參數

    U-net在Caffe上實現。爲了減小開銷，batch size設爲1。使用SGD的動量係數爲0.99。

加權損失

    最後一層使用逐像素的softmax和交叉熵損失。Softmax公式如下：

    其中ak(x)是分割圖中像素位置x、通道k激活值；K是通道總數(也就是類別數)。交叉熵損失的計算：

    其中l屬於{1,...,K}表示某個像素點的類別，w(x)是x像素點的損失權重。訓練之前，先計算每個ground-truth分割圖的權重圖，用於補償訓練數據集中每類像素的不同頻率，使網絡更注重學習相互接觸的細胞之間的分割邊界。如下圖：

    使用形態學計算分割邊界。計算權重圖的公式如下：

    ωc:Ω→R是用來平衡類頻率的權重圖，d1:Ω→R表示到背景的某個像素點到最近細胞邊界的距離，d2:Ω→R表示到背景的某個像素點到第二近的細胞邊界的距離。經過實驗，作者設置ω0=10，σ≈5個像素。

    權重初始化：使用高斯分佈，標準差爲(2/N)^-1，N是一個神經元的輸入節點的數量。比如3x3、64通道的卷積的N=9*64=576。

數據增強

    當訓練樣本很少的時候，數據增強是非常必要的。在顯微鏡圖像中，進行平移、旋轉、彈力形變和灰度變換，最重要的是彈力形變。這裏使用3×3粗網格上的隨機位移向量生成平滑形變。位移是從一個10像素標準差的高斯分佈中採樣的，然後使用雙三次插值計算每像素位移。如下圖：

 增強後 

 

4.實驗

    作者在三個不同數據集上進行實驗。

    第一個數據集是神經元結構電子顯微鏡圖像，由EM圖像分割挑戰賽提供。訓練集是30張512x512的果蠅一齡幼蟲腹神經索(VNC)的切片透射電鏡圖像，ground-truth map：白色爲細胞，黑色爲細胞膜。測試集公開，但是分割圖保密，因此需要把預測的分割圖發給組辦方進行評估。結果如下：

    另外兩個數據集是細胞光鏡圖像”PhC-U373”和”DIC-HeLa”，是2014和2015 ISBI細胞跟蹤挑戰賽的一部分。實例如下：

    結果如下：

 

參考文獻

[0]Olaf Ronneberger, Philipp Fischer, and Thomas Brox.U-Net: Convolutional Networks for Biomedical Image Segmentation.

[1]jianyuchen23.U-Net論文詳解.https://blog.csdn.net/jianyuchen23/article/details/79349694