作者 | 高衛華
出品 | AI科技大本營
隨着深度學習的發展，GAN模型在圖像風格轉換的應用越來越多，其中不少都實現了很好的效果。
此前，reddit上的一個技術博主AtreveteTeTe基於GAN模型混合將普通的人像照片卡通化，並通過First Order Motion模型生成了動畫，引起諸多網友的熱捧。像這類卡通風格的畫像生成，通常對單元素的質量要求不高，對於模型的訓練，會忽略一些細節上的不足。
不過，最近一個開發者在GitHub上放出了一個可用於創建線條藝術肖像的項目，基於深度學習開發了ArtLine，其創建的線條肖像畫在細節上的呈現效果驚人。
項目鏈接：
https://github.com/vijishmadhavan/ArtLine
ArtLine最簡單的入門方法：
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb
藝術肖像線條畫方面，去年清華大學曾提出一個層次化的GAN模型APDrawingGAN，可以有效地基於人臉照片生成高質量、富有表現力的線條畫。
但APDrawingGAN在識別面部特徵方面存在侷限性，例如在識別與ID照片類似的正面照片時，需要照片具有清晰的面部特徵以及無佩戴眼鏡或者面部有明顯皺紋。
而ArtLine可以解決這項侷限性，同時可以識別任何人物姿態的圖像。其生成的肖像畫在臉部、眼睛、嘴脣和鼻子周圍是否達到適當的線條，完全取決於提供給模型的數據。
APDrawing數據集主要由特寫肖像組成，該模型難以對衣服、手等進行重新着色。因此，ArtLine結合使用了從Anime sketch着色對數據集中選擇的圖像，幫助模型更好地瞭解線條細節。
這是使用ArtLine即時創建的電影海報。
技術實現
自注意力的GNN
ArtLine採用Self-Attention Generative Adversarial Network（簡稱SAGAN）生成器，該模型是經過預訓練的UNET，具有頻譜歸一化和自我注意功能，可爲圖像生成任務提供注意力驅動的遠程依賴關係建模。
傳統的卷積GAN，根據低分辨率特徵圖中空間局部點的函數來生成高分辨率的細節。而在SAGAN中，可以使用來自所有要素位置的提示來生成細節。並且，鑑別器可以檢查圖像部分中的詳細特徵是否一致。
此外，據最近的研究表明，生成器調節會影響GAN的性能。爲此，將頻譜歸一化應用於GAN生成器，以改善訓練動態。
SAGAN實現了最先進的效果，在具有挑戰性的ImageNet數據集上，將已發佈的Inception分數從36.8提高到52.52，並將Frechet Inception距離從27.62降低到18.65。據注意層的可視化顯示，生成器利用了與對象形狀相對應的鄰域，而不是固定形狀的局部區域。
GAN逐步提高質量、穩定性和多樣性
ArtLine使用生成對抗網絡的新訓練方法，關鍵思想是從低分辨率開始添加新層，逐漸增加生成器和鑑別器，以隨着訓練的進行對越來越細的細節建模。這既加快了訓練速度，又極大地提高了生成圖像的質量。
訓練中，ArtLine採用一種用於評估圖像質量和變化等GAN結果的新指標，並構建了CelebA數據集更高質量的版本。
生成器損失：基於VGG16的感知損失/特徵損失。
進行高質量圖像的轉換時，通常使用輸出圖像與真實圖像之間的每像素損失來訓練前饋卷積神經網絡。而研究表明，高質量圖像也可通過從預訓練網絡提取高級特徵，定義和優化感知損失函數來生成。
結合這兩種方法的優勢，ArtLine使用感知損失函數來訓練用於圖像轉換任務的前饋網絡。與基於優化的方法相比，ArtLine可給出相似質量的圖像轉換結果，但其生成速度快了三個數量級。對於單圖像超分辨率的方法，實驗表明將每像素損失替換爲感知損失，視覺上會更令人愉悅。
目前，ArtLine在圖像生成時也存在一些問題，如其生成器會將照片陰影與頭髮混淆；另外，對於低於500像素的低質量圖像，ArtLine的圖像轉換效果不佳。
論文鏈接：
https://arxiv.org/abs/1805.08318
https://arxiv.org/abs/1710.10196
https://arxiv.org/pdf/1603.08155.pdf
更多精彩推薦
☞谷歌知名前 AI 研究員無辜被裁，CEO：調查！
☞慘烈！上班摸魚被老闆張一鳴抓現場...... | 每日趣聞
☞蘇寧迴應股權質押給淘寶：正常合作;蘋果App Store被越獄商店指控壟斷；Docker 20.10.0發佈|極客日報☞【官方福利】CSDN內測師限時申請，參與贏年末禮包
☞一文聊“圖”，從圖數據庫到知識圖譜
☞區塊鏈賦能物流行業：“圈子文化”下，網絡貨運的數字化轉型之路
點分享點點贊點在看