語義分割進階之路之回首CVPR2016(三)

Gaussian Conditional Random Field Network for Semantic Segmentation. 

Raviteja Vemulapalli, Oncel Tuzel, Ming-Yu Liu, Rama Chellapa

 

這篇論文很有意義的,我們知道2015的cvpr對語義分割的方法侷限於,場\概率、超像素、FCN這三種

本文就是在“場”這個方向進發,涉及了很多“場”的問題。使用了GCRF代替CRF,並且他自己設計了一套流程聽說效果是很不錯的。

 

abstract
In contrast to the existing approaches that use discrete Conditional Random Field (CRF) models, we propose to use a Gaussian CRF model for the task of semantic segmentation. We propose a novel deep network, which we refer to as Gaussian Mean Field (GMF) network, whose layers perform mean field inference over a Gaussian CRF. The proposed GMF network has the desired property that each of its layers produces an output that is closer to the maximum a posteriori solution of the Gaussian CRF compared to its input. By combining the proposed GMF network with deep Convolutional Neural Networks (CNNs), we propose a new end-to-end trainable Gaussian conditional random field network. The proposed Gaussian CRF network is composed of three sub-networks: (i) a CNN-based unary network for generating unary potentials, (ii) a CNN-based pairwise network for generating pairwise potentials, and (iii) a GMF network for performing Gaussian CRF inference. When trained end-to-end in a discriminative fashion, and evaluated on the challenging PASCALVOC 2012 segmentation dataset, the proposed Gaussian CRF network outperforms various recent semantic segmentation approaches that combine CNNs with discrete CRF models. 

與使用離散條件隨機場(CRF)模型的現有方法相比,我們建議使用高斯CRF模型來進行語義分割。我們提出了一種新穎的深度網絡,我們稱之爲高斯平均場(GMF)網絡,其層在高斯CRF上執行平均場推斷。所提出的GMF網絡具有所需的特性,其每個層產生的輸出更接近於高斯CRF與其輸入相比的最大後驗解。通過將提出的GMF網絡與深度卷積神經網絡(CNN)相結合,我們提出了一種新的端到端可訓練高斯條件隨機場網絡。所提出的高斯CRF網絡由三個子網絡組成:(i)用於生成一元電勢的基於CNN的一元網絡,(ii)用於生成成對電勢的基於CNN的成對網絡,以及(iii)用於執行的GMF網絡高斯CRF推理。當以有辨別力的方式進行端到端訓練並在具有挑戰性的PASCALVOC 2012分割數據集上進行評估時,所提出的高斯CRF網絡優於將CNN與離散CRF模型相結合的各種最近的語義分割方法。

他的網絡結構是三層的:(i)用於生成一元電勢的基於CNN的一元網絡,(ii)用於生成成對電勢的基於CNN的成對網絡,以及(iii)用於執行的GMF網絡高斯CRF推理。

分別是Pairwise network, unary network, GMF network這三個部分

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章