文獻閱讀筆記(1)2018 CVPR - Competitive Collaboration

文章標題:

Competitive Collaboration: Joint Unsupervised Learning of Depth, Camera Motion, Optical Flow and Motion Segmentation

文章作者:

Anurag Ranjan1 Varun Jampani2 Kihwan Kim2 Deqing Sun2 Jonas Wulff1 Michael J. Black1

發表:2018 CVPR

文章鏈接:

https://download.csdn.net/download/weixin_39277458/11064779

 

1. 關鍵詞:

Unsupervised Learning(無監督學習)、Generative Adversarial Networks(生成對抗神經網絡)、Competitive Collaboration(競爭式協作)、Low-level Vision(低級視覺)、Single View Depth Prediction(單目深度預測)、Camera Motion Estimation(相機運動估計)、 Optical Flow(光流)、 Static Scene and Moving Regions Video Segmentation(視頻靜態環境和動態區域分割)、Automotive(自動駕駛)

 

2. 目標:

使用一個對抗神經網絡結構(Generative Adversarial Networks),從未標註的自動駕駛(Automotive)單目視頻輸入中,估計單目深度(Single View Depth)、相機運動(Camera Motion)和光流(Optical Flow),並對靜態環境(Static Scene)和動態目標(Moving Regions)進行分割(Segmentation)。本文認爲以上四個任務是相互關聯的,各個任務之間可以相互支援提升最終性能。

3. 研究價值:

  1. 視覺研究中很多信息是稠密且連續的,這一類的標記信息是稀少且難以收集的。本文主要考慮的是其中的四個主要子問題:單目深度估計、相機運動估計、光流和運動分割。

  2. 之前的研究已經嘗試過使用合成輸入數據進行研究,但是合成數據與真實數據必然存在的差異。

  3. 最近有研究人員嘗試使用無監督學習解決缺乏Ground Truth數據的問題,但是模糊性(highly ambiguous)是一個很大的挑戰。爲此,本文的思路是利用這四個問題之間的幾何約束對模糊性進行更強有力的限制。

  4. 本文之前的研究有嘗試過將其中的兩個問題耦合在一起進行無監督訓練,但是結果並不是很好,原因在於動靜場景分割沒有對人或車進行有針對性的分割;其次,輸入視頻數據與訓練模型假設不一定相同。

4. 方法:

本文利用生成對抗網絡(GANs)將四個子問題耦合在一起進行訓練,四個子問題之間將會相互提升。與傳統的GANs不同的是,本文使用了兩個對抗者(Adversaries)和一個批評者(Moderator)進行三元對抗訓練。

5. 結論:

  1. 本文引入了競爭性合作的無監督學習框架達到具體目的;

  2. 聯合地訓練四個問題良好地提升了各自的性能;

  3. 本文是第一個使用低級視覺信息(單目深度、相機運動和光流)進行分割的無監督學習研究;

  4. 相比所有的無監督學習成果,本文在預測單目深度、相機運動和光流上都取得了最好的結果。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章