U-Net解決的是生物醫學圖像的分割問題。分割問題其實也是分類的一種,只不過是像素級別的分類。爲了在同一圖像中獲得多維的概率,U-Net網絡結構使用了全卷積的結構,網絡中沒有全連接層。
對訓練圖像使用彈性形變進行數據增強。
壓縮路徑中,每次池化之後會進行兩次卷積。需要注意的是卷積後的通道數(濾波器個數)是池化之前的2倍。而在壓縮路徑中則相反,池化變爲上採樣,通道數變爲減半的關係。
壓縮路徑中的中間結果在copy and crop之後,大小與上採樣結果一致,就可以與上採樣的結果在channel維度進行拼接,目的是特徵融合,提高預測和分割的準確性。拼接之後通道數double,所以在卷積時再將其減半。
裁剪的原因是保證尺寸一致,那麼上採樣前後尺寸爲什麼會不一樣呢,因爲卷積。在得到32*32大小之後仍然進行了兩次卷積才上採樣。
Overlay-tile Strategy,在卷積之前,針對邊界的像素進行的鏡像填充操作。
上採樣之後還是要卷積,提取關鍵特徵,也是和壓縮路徑對稱。
在最後一層,使用1x1卷積將每個64分量特徵向量映射到所需數量的類。
損失函數使用softmax估計得到的每個像素位置屬於各個類別的概率分佈。針對位置的不同,提前計算權重圖,構建交叉熵。對於相交的目標設定較大的權重。可以使用形態學計算出邊界,根據到邊界的最近距離和次近距離計算權重。
有效卷積?same卷積?
Reference:
1.https://zhuanlan.zhihu.com/p/31428783?from_voters_page=true
2.https://zhuanlan.zhihu.com/p/43927696
3.https://lmb.informatik.uni-freiburg.de/Publications/2015/RFB15a/