CNN 風格遷移模型 原理簡述

我們有了兩張圖片,分別是content圖和style圖

風格遷移本質上是找到一個新的圖片,使得風格上趨近於風格圖,內容上趨近於內容圖

而“趨近”在深度學習中體現在loss函數中,所以我們要設定兩個loss

content loss 度量生成圖像的內容和內容圖像的內容之間的內容損失

style loss 度量生成圖像的風格和風格圖像的風格之間的風格損失

不斷地更新合成圖的信息,得到最終synthetic image

觀察CNN模型,我們可以看出,對於Content Image來說,淺層卷積層的feature maps已經能夠重構出比較好的圖像了,而隨着卷積層的加深,從feature map重構出的圖像損失的像素點越嚴重,但是卻能夠保留圖像中的更加高級的內容信息。可以看到隨着卷積層的加深,房屋圖片的像素點越來越模糊,但是仍然能看到整個圖片中的內容信息。

在Style Image重構過程中,隨着卷積層的加深,feature maps重構出的圖像能夠更大程度上保留圖像的style信息,但是會丟失原始圖像中內容信息。

所以風格損失經常對比的是淺層網絡特徵,內容損失對比的是深層網絡特徵

 

關於訓練

我們可以使用現成的模型,如VGG,其中的參數(權重、偏置)已經給出,不需要訓練

因爲合成圖首先要保證內容的一致性,所以我們的初始化合成圖爲content圖加上噪音

對這張合成圖進行訓練,得到最後結果

 

參考:https://zhuanlan.zhihu.com/p/38315161

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章