论文：《Image Super-Resolution via Deterministic-Stochastic Synthesis and Local Statistical Rectification》
摘要
高分辨率图像由两部分组成，可确定部分和随即部分。确定性部分可以从低分辨率图像中恢复，随机部分和低分辨率图像相关性很小。我们采用两个互补方法分别生成这两部分。对抗生成网络用于生成随机部分，确定部分可视为一个回归问题用深层神经网络来生成。因为确定部分拥有明确的局部方向性，我们针对其设计了新颖的损失函数。首次使用两种方法对输入图片生成两个不同的高分辨率图像。随后，将这两个生成图片用另一个深层神经网络融合，这一步有局部统计修正效果（？），使得融合图片的局部统计值和GT匹配。
These two methods are first applied to the entire input image to produce two distinct high-resolution images. Afterwards, these two images are fused together using another deep neural network that also performs local statistical rectification, which tries to make the local statistics of the fused image match the same local statistics of the groundtruth image.
相关工作
Exemplar or Dictionary Based Super-Resolution
模板或字典的超分方法。
和[Tai et al. 2010]方法有两点不同：1、在我们的模型中，确定成分不仅仅指边缘像素，还包括纹理区域（texture region）。2、[Tai et al. 2010]同等看待所有边缘像素，本文认为在纹理区域的边缘像素不是结构像素，因为他们不含有空间相关性，不能组成直线或者曲线。
Deep Learning Based Super-Resolution
给定低分辨率和高分辨率图像对，可以将超分问题视为回归问题。SRCNN,VDSR,SRResNet,LapSRN。尽管使用MAE和MSE损失会带来很好的数值指标评估结果，比如PSNR和SSIM，这些损失函数并不能增强视觉效果。
早期讨论中，SISR是一个病态问题，只有确定成分可以从低分辨率的图像中恢复，虽然恢复了高分辨率图像的结构，却缺少丰富的高频细节信息，这些信息来源于随机成分。GANs网络的提出改进了这一问题，比如SRGAN。然而，GANs网络只能判断生成的细节看起来是否自然，但是却不能分辨这种细节是否和低分辨率输入相匹配。有的时候，GANs网络的生成甚至会破坏已存在的图像结构。
本文用一种折中的方法解决了结构像素和非结构像素的问题。增加了新的损失函数，使生成图片的随机成分细节不仅看来真实，还和输入相匹配。
Texture Enhancement Based Super Resolution
Huang et al. [2015]，Ahn et al. [2016]，Sun et al. [2017]将超分问题看作一个有约束的纹理转换问题。
自然图像中的高频细节是非常复杂的并且空间相关。现存的基于纹理增强的SISR方法用了均匀纹理，并不能明确纹理图像到高分辨率图像之间的空间映射关系。本文提出使用Gram矩阵和相关矩阵得到统计特征，基于统计特征使生成的随机成分（细节部分）和高分辨率图像更好的匹配。
Style Transfer and Texture Synthesis.
Gatys et al. [2016] 和Sendik et al. [2017]分别使用全局的gram矩阵和全局相关矩阵。
本文使用局部gram矩阵和局部相关矩阵
overview
三步：1、生成确定成分的高分辨率图像：
2、两者融合。
3、引入局部空间统计量，修正融合图像里的随机成分。
一、高分辨率确定成分重建
网络结构：
三个损失：
（1）Color Loss
也就是我们平时用的L1损失，计算像素之间的差值。
（2）Generalized Gradient Loss
为了强调边缘和局部结构，设计了生成梯度损失（generalized gradient loss）。
为了提高确定成分的高分辨率图像，我们希望
像素（m，n）处的生成梯度向量可以被看做一个特征向量，包括像素点（m，n）和他领域rxr中的点的差值。
（3）