去雨方向工作概述(三)

把传统方法去雨的稍微看一下摘要和方法,做了这三个概述。后面网络的方法仔细看

1.Transformedlow-rank (2017 ICCV)

Transformed Low-Rank Model for Line Pattern Noise Removal.
基于变换低秩模型的线性噪声去除

以往的方法大多数是对原始图像域中线性噪声进行建模,没有明确地挖掘方向特征,导致这些线性噪声子空间冗余,表达能力差。为了使线性子空间结构紧凑,本文将转换合并到图像分解模型中,这样就可以将输入图像映射到一个区域,其中线模式外观具有非常明显的低秩结构,这自然允许我们在从有噪声的图像中提取线模式条纹/条纹之前执行低秩。同时还给出一种详细的分析噪声及清晰图像之间的局部梯度和非局部领域,提出一种面向合成的全变分低秩先验图像层,从而同时容纳两种类型的噪声,解决随机噪声跟线性噪声混合在一起的问题。随着光谱或时间相关建模的流行,我们从空间变换域提供了一个新的视角。

基本步骤:

本文主要内容:
1)我们明确利用了线性模式的方向特性,并通过旋转图像分解框架对其进行建模,这有利于我们在变换域以更紧凑的方式揭示线性模式噪声的低秩子空间;
2)利用图像层的局域和非局域稀疏性来适应混合噪声的情况,提出了一种组合方向总变分低秩先验(a compositional directional total variational and low-rank prior )来分离图像层和噪声;

主要工作:
1、旋转退化模型:
与原始空间相比,图像patch在变换域内具有更明显的低秩性。
由于线性模式层更强的线性性,在变换域捕获低秩属性的起点,用低秩正则化线性模式层。
2、线性模式建模
线模式噪声具有明显的方向性,在局部表现上结构简单,字典学习、GMM、低秩未能捕获其固有的紧致子空间。
3、图像层建模
对原始图像层和退化图像层之间的局部和非局部差异的详细分析,我们提出了一个合成方向的总变分和低秩先验,以更好地建模图像结构。
4、混合噪声去除

存在的局限性:
1、一旦调用旋转算子,由插值引起的高频信息减少将不可避免。
2、在相同方向上,删除线性噪声的同时,图像结构相同的方向线性模式也会意外被删去。
将额外的光谱时间信息整合到基于分解的框架中,或者学习基于CNN的雨条纹可能有助于推进这个问题。

2.MoG: hould We Encode Rain Streaks in Video as Deterministic or Stochastic (2017 ICCV)

Should We Encode Rain Streaks in Video as Deterministic or Stochastic?
视频中雨纹应该编码成确定或随机?
代码

本文首先以随机的方式对雨进行编码,即这是一种混合的高斯风格,这使得模型能更好地适应更大范围的雨的变化。结合运动物体的时空平滑配置和背景场景的低秩结构,提出了一种简洁的RSRV模型,其中包含了对雨条纹层的一个似然项和对运动物体和背景场景层的两个先验项。
提出了一种基于patch的混合高斯分布(patch-based mixture of Gaussians (P-MoG) distribution )。

在这里插入图片描述

创新之处:
1、将雨纹编码成随机知识
2、使用基于patch的高斯混合模型表示
3、结合了运动物体、背景场景的先验,不需要输入含雨视频外的其他东西。

本文的贡献:
1、与传统的确定性方法不同,这项工作首先假设视频中的雨条纹是随机的,具体地说,它是高斯分布的一种基于补丁的混合物。这种简单的表达方式在视频中总能很好的表现出不同的雨条纹配置,具有很好的泛化能力。
2、该工作首先在视频中充分编码了雨条纹(一个似然项)、运动物体和背景场景(两个正则化项)三层的不同特征,并将它们整合为一个简洁的RSRV任务模型。通过求解该模型,可以很好地实现不同层之间的互补,同时获得较好的雨条纹提取和无雨视频恢复输出。
3、我们设计了一个EM算法来解决所提出的模型。所有涉及到的参数都可以很容易地以封闭的形式解决,或者直接使用现成的高效工具包。在一系列有雨纹的合成视频和真实视频上进行的实验验证了该方法的优越性,超越了目前的技术水平,不需要使用输入视频以外的任何额外信息。

雨纹层建模:
在这里插入图片描述
在这里插入图片描述
P-MoG:
在这里插入图片描述

伪代码:
在这里插入图片描述

数据集:CDNET datebase 中选取了四个视频

这里大部分文章都是略看。后面的网络方法打算深入了看。

分页符

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章