想不想讓你拍的照片秒變宮崎駿風格漫畫,一起來看看CartoonGAN

論文:CartoonGAN: Generative Adversarial Networks for Photo Cartoonization

會議:CVPR2018

想不想讓你拍出來的圖片,秒變漫畫風,就像下面這樣~

讓我們觀察一下上面這張圖片,仔細看一看,兩張圖片有什麼不同,看出來了吧?右邊這幅圖明顯不像現實中的車輛嘛,是不是很像漫畫呢?有了這個CartoonGAN,漫畫家會不會失業呀?

讓我們來了解一下CartoonGAN是怎麼將圖片變成漫畫的吧~

現有很多風格轉換方法,如Pix2PixGAN可以完成圖片風格的轉換功能,但是由於漫畫具有獨特的特點,利用現有的風格轉換方法,我們無法充分表達漫畫的獨特特徵:

(1)漫畫風格的高級簡化和抽象等功能,不是簡單地添加紋理和邊界線,而是需要從現實世界圖像的複雜構造中高度簡化;

(2)漫畫圖像鋒利的邊緣,光滑的顏色不均勻,質地相對簡單

由於漫畫的上述特徵,我們使用一般的風格轉換方法不能獲得滿意的結果,爲了更好地突出這些漫畫的特徵,這篇文章提出了兩種損失函數,一種保證照片和漫畫風格轉換的Content loss,另一種是促進漫畫邊緣清晰的對抗Loss。

網絡架構:一個生成器和一個判別器的配置

生成器輸入一張現實場景圖片,生成一張漫畫風格圖片,判別器的存在使得生成器生成的圖片更加像漫畫風格。

損失函數

(1)Adversarial loss Ladv(G,D):

目標:通過使得判別器能夠識別弱邊緣的圖片,從而通過對抗訓練,促進生成圖片邊緣清晰。

我們簡單的利用對抗Loss來訓練網絡,往往生成的漫畫圖片不夠真實, 這是因爲卡通圖像的重要特徵是有清晰的邊緣,但是這些邊緣在整個圖像中所佔的比例通常非常小。 因此,生成器不能捕獲漫畫圖片的這種特點,因此生成的圖片不夠“像”漫畫。

這裏,作者提出了一種促進邊緣的loss。首先,作者利用已有的漫畫數據集Sdata(c),弱化漫畫邊緣,生成弱邊緣的漫畫數據集Sdata(e)

如何弱化邊緣,生成弱邊緣的漫畫數據集?

(1)利用邊緣檢測器,檢測出漫畫邊緣

(2)刪除圖片中邊緣區域

(3)利用高斯平滑處理圖片,生成弱化邊緣後的漫畫數據集

下圖便是原圖片和弱化邊緣後的圖片。

定義對抗Loss:

訓練生成器時,希望判別器將生成的圖片判定爲真實的漫畫圖片

訓練判別器時,希望判別器能將真實漫畫圖片判定爲Real,將生成器生成的圖片判別爲Fake,

如何促進漫畫邊緣?

對抗Loss除了上面那些設置外,同時,重點來了!!!判別器還將弱化邊緣的漫畫圖片判定爲Fake,這樣是不是就突出了漫畫的邊緣呢???很有意思吧!

(2) Content Loss:

目標:確保圖片風格轉換的同時,內容不變,一輛生活中的大Bus不會變成漫畫中的一輛car!

除了正確的流形之間的轉換之外,卡通風格化中的一個更重要的目標是確保得到的卡通圖像保留輸入照片的語義內容。 在CartoonGAN中,採用了預訓練的VGG網絡中的高級特徵定義Content,利用L1 Loss保證,圖片內容不變。

結果:振奮人心的結果來啦

(1)讓我們看一下生成的結果吧,讓我們拍的照片變成新海誠或者宮崎駿風格的漫畫~

現實圖片 新海誠風格 宮崎駿風格

(2)與其他方法的比較,是不是邊緣清晰很多,更真實啦

是不是很有意思呢,關注我,給你帶來更多有意思的AI科技哦

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章