風格遷移與Gram matrix

參考鏈接:https://blog.csdn.net/hellocsz/article/details/91486679

參考鏈接:https://blog.csdn.net/appleyuchi/article/details/78170424

參考鏈接:https://www.cnblogs.com/dudu1992/p/9112054.html

參考鏈接:https://www.cnblogs.com/dudu1992/p/9112054.html

參考鏈接:https://www.zhihu.com/question/36514939/answer/67810216

參考鏈接:https://blog.csdn.net/Sun7_She/article/details/77199844

一、格拉姆矩陣

        n維空間中任意k個向量之間兩兩的內積所組成的矩陣,稱爲這k個向量的格拉姆矩陣(Gram matrix)歐式。

可以理解爲:每個Gram矩陣都有一組向量,而Gram矩陣就是由這一組向量兩兩內積得到的。

舉個例子

二、Gram matrix與風格遷移

什麼是風格遷移?

       風格遷移又被稱爲風格轉換,直觀的是:給定原始圖像,並選擇相應的圖像風格,將兩者結合起來。   

風格:一般來說淺層網絡提取的是局部的細節紋理特徵,深層網絡提取的是更抽象的輪廓、大小等信息。這些特徵總的結合起來表現出來的感覺就是圖像的風格。

  

文章中,提到了兩個損失:

content loss:使用逐像素計算插值,又被稱爲pixel-wise loss,追求的是生成圖像和原始圖像逐像素差異儘可能的小。

style loss:衡量風格差異的損失值。

        在執行風格遷移時,我們並不要求生成圖片的像素和原始圖片中的每個像素都一樣,我們最求的是生成圖片和原圖片具有相同的特徵,因此我們使用中間層作爲我們的目標,希望原圖片和風格遷移後的目標圖片儘可能相似。即將深層模型中的某些層的輸出作爲圖像的知覺特徵。

       而style transfer 思路:在圖像內容附近通過白噪聲初始化一個輸出的結果,然後通過網絡對這個結果進行風格和內容兩方面的約束進行修正。而在風格的表示中採用的是Gram Matrix。

       Gram Matrix實際上可看做是feature之間的偏心協方差矩陣(即沒有減去均值的協方差矩陣),在feature map中,每一個數字都來自於一個特定濾波器在特定位置的卷積,因此每個數字就代表一個特徵的強度,而Gram計算的實際上是兩兩特徵之間的相關性,哪兩個特徵是同時出現的,哪兩個是此消彼長的等等,同時,Gram的對角線元素,還體現了每個特徵在圖像中出現的量,因此,Gram有助於把握整個圖像的大體風格。有了表示風格的Gram Matrix,要度量兩個圖像風格的差異,只需比較他們Gram Matrix的差異即可。

       內積之後得到的多尺度矩陣中,對角線元素提供了不同特徵圖(a1,a2 ... ,an)各自的信息,其餘元素提供了不同特徵圖之間的相關信息。於是,在一個Gram矩陣中,既能體現出有哪些特徵,又能體現出不同特徵間的緊密程度。

如何簡單理解Gram matrix?

gram矩陣是計算每個通道I的feature map與每個通道j的feature map的內積。

gram matrix的每個值可以說是代表i通道的feature map與j通道的feature map的互相關程度。

風格遷移中的Gram矩陣

參考文章:A neural algorithm of artistic style

文章鏈接:https://arxiv.org/abs/1508.06576

(1)Gram矩陣的計算採用了累加的形式,拋棄了空間信息。一張圖片的像素隨機打亂之後計算得到的Gram Matrix和原圖的Gram Matrix一樣。所以認爲Gram Matrix所以認爲Gram Matrix拋棄了元素之間的空間信息

(2)Gram Matrix的結果與feature maps F 的尺寸無關,只與通道個數有關,無論H,W的大小如何,最後Gram Matrix的形狀都是CXC

(3)對於一個C X H X W的feature maps,可以通過調整形狀和矩陣乘法運算快速計算它的Gram Matrix。即先將F調整到 C X (HW)的二維矩陣,然後再計算F 和F的轉置。結果就爲Gram Matrix

Gram matrix的特點:注重風格紋理,忽略空間信息

發佈了112 篇原創文章 · 獲贊 110 · 訪問量 14萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章