我們有了兩張圖片,分別是content圖和style圖
風格遷移本質上是找到一個新的圖片,使得風格上趨近於風格圖,內容上趨近於內容圖
而“趨近”在深度學習中體現在loss函數中,所以我們要設定兩個loss
content loss 度量生成圖像的內容和內容圖像的內容之間的內容損失
style loss 度量生成圖像的風格和風格圖像的風格之間的風格損失
不斷地更新合成圖的信息,得到最終synthetic image
觀察CNN模型,我們可以看出,對於Content Image來說,淺層卷積層的feature maps已經能夠重構出比較好的圖像了,而隨着卷積層的加深,從feature map重構出的圖像損失的像素點越嚴重,但是卻能夠保留圖像中的更加高級的內容信息。可以看到隨着卷積層的加深,房屋圖片的像素點越來越模糊,但是仍然能看到整個圖片中的內容信息。
在Style Image重構過程中,隨着卷積層的加深,feature maps重構出的圖像能夠更大程度上保留圖像的style信息,但是會丟失原始圖像中內容信息。
所以風格損失經常對比的是淺層網絡特徵,內容損失對比的是深層網絡特徵
關於訓練
我們可以使用現成的模型,如VGG,其中的參數(權重、偏置)已經給出,不需要訓練
因爲合成圖首先要保證內容的一致性,所以我們的初始化合成圖爲content圖加上噪音
對這張合成圖進行訓練,得到最後結果