去雨方向工作概述(三)

把傳統方法去雨的稍微看一下摘要和方法,做了這三個概述。後面網絡的方法仔細看

1.Transformedlow-rank (2017 ICCV)

Transformed Low-Rank Model for Line Pattern Noise Removal.
基於變換低秩模型的線性噪聲去除

以往的方法大多數是對原始圖像域中線性噪聲進行建模,沒有明確地挖掘方向特徵,導致這些線性噪聲子空間冗餘,表達能力差。爲了使線性子空間結構緊湊,本文將轉換合併到圖像分解模型中,這樣就可以將輸入圖像映射到一個區域,其中線模式外觀具有非常明顯的低秩結構,這自然允許我們在從有噪聲的圖像中提取線模式條紋/條紋之前執行低秩。同時還給出一種詳細的分析噪聲及清晰圖像之間的局部梯度和非局部領域,提出一種面向合成的全變分低秩先驗圖像層,從而同時容納兩種類型的噪聲,解決隨機噪聲跟線性噪聲混合在一起的問題。隨着光譜或時間相關建模的流行,我們從空間變換域提供了一個新的視角。

基本步驟:

本文主要內容:
1)我們明確利用了線性模式的方向特性,並通過旋轉圖像分解框架對其進行建模,這有利於我們在變換域以更緊湊的方式揭示線性模式噪聲的低秩子空間;
2)利用圖像層的局域和非局域稀疏性來適應混合噪聲的情況,提出了一種組合方向總變分低秩先驗(a compositional directional total variational and low-rank prior )來分離圖像層和噪聲;

主要工作:
1、旋轉退化模型:
與原始空間相比,圖像patch在變換域內具有更明顯的低秩性。
由於線性模式層更強的線性性,在變換域捕獲低秩屬性的起點,用低秩正則化線性模式層。
2、線性模式建模
線模式噪聲具有明顯的方向性,在局部表現上結構簡單,字典學習、GMM、低秩未能捕獲其固有的緊緻子空間。
3、圖像層建模
對原始圖像層和退化圖像層之間的局部和非局部差異的詳細分析,我們提出了一個合成方向的總變分和低秩先驗,以更好地建模圖像結構。
4、混合噪聲去除

存在的侷限性:
1、一旦調用旋轉算子,由插值引起的高頻信息減少將不可避免。
2、在相同方向上,刪除線性噪聲的同時,圖像結構相同的方向線性模式也會意外被刪去。
將額外的光譜時間信息整合到基於分解的框架中,或者學習基於CNN的雨條紋可能有助於推進這個問題。

2.MoG: hould We Encode Rain Streaks in Video as Deterministic or Stochastic (2017 ICCV)

Should We Encode Rain Streaks in Video as Deterministic or Stochastic?
視頻中雨紋應該編碼成確定或隨機?
代碼

本文首先以隨機的方式對雨進行編碼,即這是一種混合的高斯風格,這使得模型能更好地適應更大範圍的雨的變化。結合運動物體的時空平滑配置和背景場景的低秩結構,提出了一種簡潔的RSRV模型,其中包含了對雨條紋層的一個似然項和對運動物體和背景場景層的兩個先驗項。
提出了一種基於patch的混合高斯分佈(patch-based mixture of Gaussians (P-MoG) distribution )。

在這裏插入圖片描述

創新之處:
1、將雨紋編碼成隨機知識
2、使用基於patch的高斯混合模型表示
3、結合了運動物體、背景場景的先驗,不需要輸入含雨視頻外的其他東西。

本文的貢獻:
1、與傳統的確定性方法不同,這項工作首先假設視頻中的雨條紋是隨機的,具體地說,它是高斯分佈的一種基於補丁的混合物。這種簡單的表達方式在視頻中總能很好的表現出不同的雨條紋配置,具有很好的泛化能力。
2、該工作首先在視頻中充分編碼了雨條紋(一個似然項)、運動物體和背景場景(兩個正則化項)三層的不同特徵,並將它們整合爲一個簡潔的RSRV任務模型。通過求解該模型,可以很好地實現不同層之間的互補,同時獲得較好的雨條紋提取和無雨視頻恢復輸出。
3、我們設計了一個EM算法來解決所提出的模型。所有涉及到的參數都可以很容易地以封閉的形式解決,或者直接使用現成的高效工具包。在一系列有雨紋的合成視頻和真實視頻上進行的實驗驗證了該方法的優越性,超越了目前的技術水平,不需要使用輸入視頻以外的任何額外信息。

雨紋層建模:
在這裏插入圖片描述
在這裏插入圖片描述
P-MoG:
在這裏插入圖片描述

僞代碼:
在這裏插入圖片描述

數據集:CDNET datebase 中選取了四個視頻

這裏大部分文章都是略看。後面的網絡方法打算深入了看。

分頁符

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章