风格迁移与Gram matrix

参考链接:https://blog.csdn.net/hellocsz/article/details/91486679

参考链接:https://blog.csdn.net/appleyuchi/article/details/78170424

参考链接:https://www.cnblogs.com/dudu1992/p/9112054.html

参考链接:https://www.cnblogs.com/dudu1992/p/9112054.html

参考链接:https://www.zhihu.com/question/36514939/answer/67810216

参考链接:https://blog.csdn.net/Sun7_She/article/details/77199844

一、格拉姆矩阵

        n维空间中任意k个向量之间两两的内积所组成的矩阵,称为这k个向量的格拉姆矩阵(Gram matrix)欧式。

可以理解为:每个Gram矩阵都有一组向量,而Gram矩阵就是由这一组向量两两内积得到的。

举个例子

二、Gram matrix与风格迁移

什么是风格迁移?

       风格迁移又被称为风格转换,直观的是:给定原始图像,并选择相应的图像风格,将两者结合起来。   

风格:一般来说浅层网络提取的是局部的细节纹理特征,深层网络提取的是更抽象的轮廓、大小等信息。这些特征总的结合起来表现出来的感觉就是图像的风格。

  

文章中,提到了两个损失:

content loss:使用逐像素计算插值,又被称为pixel-wise loss,追求的是生成图像和原始图像逐像素差异尽可能的小。

style loss:衡量风格差异的损失值。

        在执行风格迁移时,我们并不要求生成图片的像素和原始图片中的每个像素都一样,我们最求的是生成图片和原图片具有相同的特征,因此我们使用中间层作为我们的目标,希望原图片和风格迁移后的目标图片尽可能相似。即将深层模型中的某些层的输出作为图像的知觉特征。

       而style transfer 思路:在图像内容附近通过白噪声初始化一个输出的结果,然后通过网络对这个结果进行风格和内容两方面的约束进行修正。而在风格的表示中采用的是Gram Matrix。

       Gram Matrix实际上可看做是feature之间的偏心协方差矩阵(即没有减去均值的协方差矩阵),在feature map中,每一个数字都来自于一个特定滤波器在特定位置的卷积,因此每个数字就代表一个特征的强度,而Gram计算的实际上是两两特征之间的相关性,哪两个特征是同时出现的,哪两个是此消彼长的等等,同时,Gram的对角线元素,还体现了每个特征在图像中出现的量,因此,Gram有助于把握整个图像的大体风格。有了表示风格的Gram Matrix,要度量两个图像风格的差异,只需比较他们Gram Matrix的差异即可。

       内积之后得到的多尺度矩阵中,对角线元素提供了不同特征图(a1,a2 ... ,an)各自的信息,其余元素提供了不同特征图之间的相关信息。于是,在一个Gram矩阵中,既能体现出有哪些特征,又能体现出不同特征间的紧密程度。

如何简单理解Gram matrix?

gram矩阵是计算每个通道I的feature map与每个通道j的feature map的内积。

gram matrix的每个值可以说是代表i通道的feature map与j通道的feature map的互相关程度。

风格迁移中的Gram矩阵

参考文章:A neural algorithm of artistic style

文章链接:https://arxiv.org/abs/1508.06576

(1)Gram矩阵的计算采用了累加的形式,抛弃了空间信息。一张图片的像素随机打乱之后计算得到的Gram Matrix和原图的Gram Matrix一样。所以认为Gram Matrix所以认为Gram Matrix抛弃了元素之间的空间信息

(2)Gram Matrix的结果与feature maps F 的尺寸无关,只与通道个数有关,无论H,W的大小如何,最后Gram Matrix的形状都是CXC

(3)对于一个C X H X W的feature maps,可以通过调整形状和矩阵乘法运算快速计算它的Gram Matrix。即先将F调整到 C X (HW)的二维矩阵,然后再计算F 和F的转置。结果就为Gram Matrix

Gram matrix的特点:注重风格纹理,忽略空间信息

发布了112 篇原创文章 · 获赞 110 · 访问量 14万+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章