Deeplab系列再理解

一、Deeplab v1《Semantic image segmentation with deep convolutional nets and fully connected CRFs》(ICLR2015)

摘要

深度卷積網絡(DCNNs)在high-level視覺任務中表現很好,例圖像分類、目標檢測等。語義圖像分割彙集DCNNs和概率圖模型的方法進行逐像素分類處理。此文章驗證了DCNNs的最後一層響應不足夠定位精確的目標分割。由於不變的性質使得DCNNs適合high-level任務。文章通過結合DCNNs的最後一層響應和一個全連接條件隨機場(CRF)解決深度網絡的定位效果差。定性分析,Deeplab系統相比之前方法可以以一定精確度定位分割邊界。定量分析,此方法在PASCAL VOC-2012語義分割任務測試集上精確度IOU=71.6%。

問題:DCNNs的不變性不足夠進行語義分割

方法:結合DCNNs和概率圖模型,即DCNNs最後一層響應和條件隨機場解決邊界分割問題

效果:

二、Deeplab v2(TPAMI)

《DeepLab: Semantic Image Segmentiation with Deep Convolutional Nets, Atrous Convolution,  and Fully Connected CRFs》

摘要

在這篇文章中用深度學習方法處理語義分割,有三個主要的貢獻:1、用上採樣濾波或洞卷積(Atrous Convolution)突出卷積,是密集預測任務中強大工具。洞卷積允許在DCNNs計算的特徵響應上顯示控制分辨率。同時在不增加參數量和計算複雜度情況下有效擴大濾波感受野來混合更豐富的上下文信息。2、提出一個帶洞空間金字塔pooling(ASPP)在多尺度上穩定分割目標。ASPP使用多個採樣率和有效視野的濾波器探測傳入的卷積特徵層,從而捕獲多個尺度的對象和圖像上下文。3、提出目標邊界的定位,通過結合DCNNs和概率模型。普通DCNNs中max-pooling和下采保持不變性但對定位精確度有影響,用DCNNs和CRF結合解決定位精確度問題,在PASCAL VOC2012上達到mIOU=79.7%。

問題:語義分割問題

方法:洞卷積、洞空間金字塔池化、DCNNs+CRF

洞卷積作用:增強密集預測、擴大感受野

洞空間金字塔池化作用:多尺度圖像表示

DCNNs+CRF作用:對精確邊界的結構預測

 

效果:PASCAL VOC2012上達到mIOU=79.7%

 

三、Deeplab v3

《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》

編解碼帶洞分離卷積

摘要:

空間金字塔池化模塊、編解碼結構都是用在語義分割任務上。之前的網絡能通過使用濾波器或多個有效感受野的池化操作捕捉傳入特徵編碼多尺度上下文信息,後來的網絡可以通過逐漸恢復空間信息來獲取更清晰的目標邊界。這篇工作中,結合之前方法的優點,稱爲DeepLabv3,通過增加簡單有效的解碼模塊精細分割結果尤其物體邊界。進一步,使用Xception model和深度可分卷積(depthwise separable convolution),結合ASPP和解碼模塊得到一個更快、更強的編-解碼網絡。在PASCAL VOC2012上達到89.0%,Cityscapes達到82.1%,都沒有後處理。

問題:語義分割精確度問題

方法:編-解碼結構,引入解碼模塊;結合Xception model和深度可分卷積(depthwise separable convolution)和ASPP、解碼模塊。

深度可分卷積(depthwise separable convolution)與普通卷積區別:

假設對RGB圖像做卷積:

普通卷積的操作過程是對圖像的三個通道做相同卷積操作;

深度可分卷積的操作過程是對圖像的每個通道採用不同的卷積操作。

 

深度可分卷積實現過程:將標準卷積分解爲深度卷積,然後是逐點卷積(即1×1卷積),大大降低了模型計算複雜度並且保持性能不變甚至更好。深度卷積對於每個輸入通道獨立地執行空間卷積,而逐點卷積用於組合來自深度卷積的輸出,空間卷積可以替換爲帶洞卷積。

Xception model作用:提高分割性能,加快計算速度

 

效果:在沒有後處理情況下,在PASCAL VOC2012上達到89.0%,Cityscapes達到82.1%,且更快、更強。

 

四、DeepLab系列對比分析

Deeplabv1使用CRF後處理,提高分割邊界的精確度;

Deeplabv2使用洞卷積擴大感受野,使用洞空間金字塔池化實現多尺度預測和上下文信息提取,同時用到後處理CRF;

Deeplabv3不使用後處理,使用編-解碼結構提高分割邊界預測,使用深度分離卷積和Xception模塊。

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章