本博文主要分析了基於傳統計算機視覺的細胞分割算法和基於深度學習的細胞分割算法。主要針對醫學影像分割算法。包括了FCN全卷積網絡的細胞分割效果，U-Net細胞分割效果。查閱了採用深度學習分割醫學影像的幾十篇論文，做出的總結。
醫學影像分割——細胞分割算法分析與總結
1. 基於傳統算法的細胞分割總結
1.1 幾種常用二值化方法
1.1.1 全局二值化，簡單，但是依賴於選擇的閾值，對光照不均衡的圖像，背景和前景相似的圖像處理效果差。
1.1.2 最優閾值方法（基於直方圖）。這種方法基於對圖像像素強度的概率分佈，選擇兩個概率分佈的交界處作爲閾值，能夠得到最小的分割誤差。
1.1.3 OTSU大津閾值方法（基於聚類）。這種方法是基於統計判別分析，計算出一個閾值能夠最小化類內方差，最大化類內方差。
1.2 分水嶺算法
1.2.1 基於標記點約束的分水嶺算法。一般針對細胞影像分割，細胞圖像中都有標記物，將標記物當做一個水壩的初始位置，不斷的進行注水，直到兩個水壩的水位相交，修水壩，分割完成。
1.3 混合方法
爲了提高分割性能，往往採用多種方法結合，緩解單獨一個方法造成的性能下降。
1.3.1 利用圖割的方法進行細胞分割。
採用混合圖割的方法，自動二值化圖像，接着採用被基於距離圖的自動選擇方法約束的LoG（Laplacian-of-Gaussian）進行種子點提取。
1.4 最小化模型用於細胞分割
基於模型的方法進行細胞檢測和分割，往往過度依賴於細胞形狀特徵的先驗信息。由於採用了該細胞明確的性質，這會引入細胞分割的偏差。而採用輪廓的方法，會不依賴於細胞核形狀，染色特徵，能夠處理醫學細胞影像中的大多數分割問題。最小模型分割方法如下：
（1）檢測所有的封閉輪廓；（2）輪廓評估；（3）生成不重疊分割；（4）輪廓優化；（5）分離凹目標；（6）對剩餘區域進行分類，基於染色的特性，分爲目標細胞和其他物體。
2. 基於深度學習的細胞分割算法總結
2.1 FCN全卷積神經網絡
FCN對圖像進行像素級的分類，從而解決了語義級別的圖像分割（semantic segmentation）問題。與經典的CNN在卷積層之後使用全連接層得到固定長度的特徵向量進行分類（全聯接層＋softmax輸出）不同，FCN可以接受任意尺寸的輸入圖像，採用反捲積層對最後一個卷積層的feature map進行上採樣, 使它恢復到輸入圖像相同的尺寸，從而可以對每個像素都產生了一個預測, 同時保留了原始輸入圖像中的空間信息, 最後在上採樣的特徵圖上進行逐像素分類。
2.2 U-Net
網絡架構如下：
U-Net模型是一種改進的FCN結構，因其結構形似字母U而得名，應用於醫學圖像的語義分割。它由左半邊的壓縮通道（Contracting Path）和右半邊擴展通道（Expansive Path）組成。壓縮通道是典型的卷積神經網絡結構，它重複採用2個卷積層和1個最大池化層的結構，每進行一次池化操作後特徵圖的維數就增加1倍。在擴展通道，先進行1次反捲積操作，使特徵圖的維數減半，然後拼接對應壓縮通道裁剪得到的特徵圖，重新組成一個2倍大小的特徵圖，再採用2個卷積層進行特徵提取，並重復這一結構。在最後的輸出層，用2個卷積層將64維的特徵圖映射成2維的輸出圖。
3. 基於傳統算法的細胞分割實現
3.1 傳統分割算法的實現步驟
爲了評估傳統分割算法的性能，在給定數據集上實現了細胞分割。以下爲實現步驟。（由於是合作項目，算法不方便透露）。
3.2 結果分析
基於傳統計算機視覺的細胞分割在處理前景、背景有較大差異，目標之間間距較大的細胞時，能夠高效的處理，而面對前景、背景相似，且細胞連成一片的情況，則效果較差。如果需要提高精度，需要採用曲率，局部特徵約束的方法。
4. 基於深度學習的細胞分割算法效果展示
以下的一些圖像是調研的基於深度學習的細胞分割效果圖，包括了各類醫學影像的分割結果。通過多方面的分析和對比，可以看出一些算法還是沒有將貼近的細胞分割開。
上圖的第一列是原始圖像，第二列是Ground Truth，第三至第五列是各種基於深度學習模型的分割效果。從中可以看出，和真實值相比，對於距離較近的細胞，分割效果不好，容易分割成一片。
上圖是基於U-Net的以及其相關變體的分割效果圖，可以看出，分割效果較好。分析原因可以看出，原始圖像中，每個細胞分散得很開，沒有連在一起，且前景、背景差異較大。
通過觀察效果圖可以看出，應用深度學習的算法，對於連在一起一片細胞，也將其分割爲一個細胞。
對於密集型的細胞分割，基於深度學習的分割算法精度還是較低。如上圖紅框標註出來的地方，就是一大片細胞連成一起。
上圖是將局部區域放大後，觀察分割的結果。左圖是Ground Truth，右圖是分割結果圖。
上圖是採用FCN進行細胞分割的結果。第1列是原始圖像，第2列是Ground Truth，第3列是分割結果。從紅框標註出的地方可以看出，在原始圖像中，貼的較近的圖像，通過深度學習模型分割後，被連成了一片。
這裏展示的結果和上述圖像一樣，紅框標註的位置顯示出來深度學習分割遇到了和傳統計算機視覺分割的相同的問題。
上述方法展示出了一些改進的U-Net算法，對於一般的U-Net，容易將貼的較近的細胞分割成一個整體，而採用一些優化手段和深度學習模型調整，能夠分開一些難分樣本。
上圖在細胞分佈得很開的情況下，分割效果較好。而對於連在一起，貼的很近的細胞，從黃色箭頭指示出的效果圖可以看出，U-Net依然沒有分割開來，而採用了優化方法的模型，能夠分割這類細胞。
對於密集型細胞，分割效果只有在80%左右 。
從上圖紅框可以看出，對於和背景顏色很相似的細胞，採用深度學習的方法，並不能有效的分割出來。
一些U-Net在細胞分割和3D重建中的應用 。
5. 傳統細胞分割算法和基於深度學習的細胞分割算法對比總結
通過第4小節給出的各種實際分割效果展示，可以看出，對於細胞前景、背景差異較大，且細胞相對獨立，沒有大面積接觸，粘連在一起的情況，深度學習能夠對其較好的分割。而在處理難分的一片細胞時候，基於深度學習的分割算法也不能很好的分開。在細胞分割採用的評價標準裏面，大部分分割算法的性能，都在90%前後。對於目前給定的數據集，由於前景、背景差異小，且細胞有很多連接在一起，採用基於深度學習的分割算法，其分割效果也不能保證和傳統算法比，有較大提升。
對於數據集的問題，由於細胞圖像分辨率較高，在一張圖像中存在的細胞大概有300個左右，需要人工將細胞的每個輪廓標註出來，比較耗時且標註的費用較大。因此，自制數據集需要較大的標註成本。