U-net
因本人能力有限，難免錯誤出現，請指定，謝謝
Abstract
一般認爲成功訓練一個深度網絡需要上千個標記的訓練樣本。本文給出了一個新的網絡結構和策略，這種策略依靠數據增強能夠更加高效的使用標記樣本。這種網絡結構包括一個用於獲取上下文信息的contracting部分和能夠進行經確定位的expanding部分，兩者呈對稱結構。另外這個網絡是個端到端的，分割非常快，一種512*512的圖像在GPU上分割少於1秒。
1.
深度卷積網絡很早就出現，但是由於訓練樣本數量太少和對應的網絡結構難以訓練的限制，深度卷積網絡一直沒有成功。2012年的Alex Net 有8層，一百萬個參數的訓練打破了這個限制。
CNN一般用於分類，但是對於像生物醫學圖像處理還需要定位，並且上大量的生物醫學圖像很難獲得。
之前有人進行patch級別的像素分類和定位。但是這樣有兩個缺點：（1）非常慢，因爲每個patch需要單獨訓練測試，並且由於patch之間的重疊使得數據冗餘。（2）需要在定位精度和上下文信息之間做出權衡，因爲大的patch需要很多的max-pooling，這就損失了定位精度，小的patch就損失了上下文信息。
本文中設計了一個更加簡潔的FCN網絡。對FCN進行了改進和擴展，具體可以查看
主要思想就是增加一個constracting 網絡結構，並用上採樣代替pooling操作。這個結構的主要作用就是增加輸出的分辨率。爲了使用局部信息，在網絡收縮過程中產生的高分辨率特徵，被連接到了修改後網絡的上採樣的結果上。基於這些信息，連續的卷積層能夠學習到更加精確地輸出。
與FCN相比，文中的上採樣部分同樣有大量的特徵通道，這就能將上下文信息傳播到高層。（這裏的意思是不是expanding部分都採用了反捲積，相對於FCN只是將最後的全連接部分改成了反捲積）U-net只使用了每一個卷積的有效部分，並沒有使用全連接層，也就是說分割圖（特徵圖？？）只包含能夠從輸入圖像中獲得上下文信息的像素點（？？）。這個策略通過一個重疊片方法能夠對任意大小的圖像進行無損分割，
重疊片方法可以查看
對於圖像邊界區域的預測是通過對輸入圖像做鏡像對稱獲得丟失的上下文信息的。這個方法對於網絡大的輸入圖像非常重要，因爲如果不這樣的話分辨率將會受到GPU內存的限制（？？）。
由於訓練數據非常少，所以需要利用彈性形變方法對訓練數據進行數據增強，這能夠使網絡學習到對各種形變的不變性。這對於生物醫學圖像非常有用，因爲生物醫學圖像存在非常多的形變，通過數據增強能夠有效地模擬實際中的這種形變。
細胞分割分割的另一個難點是同類目標的黏連，爲此，本文建議使用加權的損失函數，也就是在黏連細胞之間分割的背景在損失函數中獲得大的權重。
2.網絡結構
網絡結構由收縮路徑（左邊的部分）和擴張路徑（右邊的部分）組成。收縮路徑遵循典型的卷積網絡結構，包括多個重複出現的3X3的卷積（沒有padding），每個卷積後面是一個Relu和一個用於下采樣的2X2的最大池化層，池化步長爲2。每經過一個下采樣特徵通道就加倍。擴張路徑的每一步都包括上採樣層，上採樣後面是一個2X2的卷積層（上採樣+卷積？=反捲積，整體思想就是擴大特徵圖的分辨率，減少特徵圖的數量），將得到的結果和收縮路徑中對應的特徵圖連接到一起（收縮路徑中的特徵圖偏大，需要crop），之後就是兩個3X3的卷積和Relu層。最後是一個1X1的卷積用於將每一個64通道的特徵向量映射到所需的特徵類數量。這個網絡總共包括23個卷積層。
3.訓練
使用隨機梯度下降法訓練，在Caffe框架下實現。動量設置爲0.99，所以之前的訓練樣本對當前優化更新起着很重要的作用。
在最後的特徵圖上使用像素級的soft-max和交叉熵。交叉熵懲罰每一個位置相對於1的偏差。交叉熵中的權值
爲了補償訓練集中某一類像素的頻率差異（i.e. 粘連的細胞之間的背景像素頻率很少），我們爲每一個金標準分割圖製作了權值圖，這就強迫網絡去學習我們之前介紹的粘連細胞之間的小的分離邊界。
分割邊界是通過形態學操作獲得的。權值圖是通過以下公式獲得：
wc是用於平衡類別頻率的權值圖，d1:代表到最近的細胞邊界的距離，d2:代表到第二近細胞邊界的距離。w0和σ爲常數，試驗中設置w0=10，σ=5個像素。
深度學習中好的初始化權值非常重要，否則網絡的一部分被過度激活，其他部分卻沒有起作用。理想狀態的初始權值是網絡中每一個特徵圖都有近似的單位方差。我們使用的初始權值爲標準差爲根下2N的高斯分佈，N爲每個神經元的輸入節點數量。例如，對於一個上一層是64通道的3*3卷積核來說，N=9*64=576
3.1 數據增強
當使用很少的標記樣本訓練一個分割網絡的時候，訓練樣本的隨機彈性形變回一個很關鍵的概念。在一個3X3的粗糙網格上使用隨機位移矢量生成光滑形變。位移從10個像素的標準差的高斯分佈中取樣。每一個位移使用雙三次插值計算獲得。網絡結構的最後使用Drop-out近一步執行隱式的數據增強。
4.實驗
訓練集是30張512X512的神經元結構圖。細胞是白色，細胞膜是黑色，測試集公開，但是測試集的分割mask是保密的。你需要將預測細胞膜的概率圖發給組織方，組織方使用10種不同的閾值進行評價，並計算”warping error”等多誤差。
U-net在沒有進行預處理和後處理的情況下，實現warping誤差0.0003529。
另外在“PHC”數據集上，有35張部分標記的訓練圖像。U-net的平均IOU是92%。在“DIC”上，有20張部分標記的訓練圖像，U-net的平均IOU是77.5%。
5.總結
U-net在不同的生物醫學圖像分割應用上都取得了很好的性能。多虧彈性形變的數據增強方法，U-net訓練只需要很少的標記圖像並且在NVidia Titan GPU（6G）上只花費了10個小時。