GAN的一些很酷的應用

摘要: 本文主要講述了生成對抗網絡GANs的發展和主要應用。

在GAN發展的最初幾年裏,我們取得了令人矚目的進展。當然,現在不會是像恐怖電影裏那樣有郵票大小的面部照片了。2017年,Gan製作了1024×1024張能愚弄人才童子軍的照片。在未來幾年,我們可能會看到GAN生成的高質量視頻,由此衍生的商業應用程序即將來臨。作爲GAN系列的一部分,我們研究了一些很酷的應用程序,希望它們能作你的GAN應用程序的靈感來源。

創建動畫角色

衆所周知,遊戲開發和動畫製作成本很高,並且僱傭了許多製作藝術家來完成相對常規的任務。但通過GAN就可以自動生成動畫角色併爲其上色。

使用Generative Adversarial Networks創建自動動畫人物角色

發生器和鑑別器由多層卷積層、批標準化和具有跳過鏈接的relu組成。

來源

姿勢引導人形像生成

通過姿勢的附加輸入,我們可以將圖像轉換爲不同的姿勢。例如,右上角圖像是基礎姿勢,右下角是生成的圖像。

下面的優化結果列是生成的圖像。

姿勢引導人圖像生成

該設計由二級圖像發生器和鑑頻器組成。生成器使用元數據(姿勢)和原始圖像重建圖像。鑑別器使用原始圖像作爲CGAN設計標籤輸入的一部分。

姿勢引導人圖像生成

CycleGAN

跨域名轉讓將很可能成爲第一批商業應用。GANs將圖像從一個領域(如真實的風景)轉換爲另一個領域(莫奈繪畫或梵高)。

CycleGAN

例如,它可以在斑馬和馬之間轉換圖片。

CycleGAN

Cyclegan構建了兩個網絡G和F來構建從一個域到另一個域以及反向的圖像。它使用鑑別器d來批評生成的圖像有多好。例如,G將真實圖像轉換爲梵高風格的繪畫,並且DY用於區分圖像是真實的還是生成的。

域A到域B:

我們在反向域B域A中重複該過程:

PixelDTGAN

根據名人圖片推薦商品已經成爲時尚博客和電子商務的熱門話題。Pixeldtgan的作用就是從圖像中創建服裝圖像和樣式。

PixelDTGAN

PixelDTGAN

超分辨率

從低分辨率創建超分辨率圖像。這是GAN顯示出非常令人印象深刻的結果,也是具有直接商業可能性的一個領域。

SRGAN

與許多GAN的設計類似,它是由多層卷積層、批標準化、高級relu和跳過連接組成。

GAN的逐步發展

Progressive GAN可能是第一個展示商業化圖像質量的GAN之一。以下是由GAN創建的1024×1024名人形象。

它採用分而治之的策略,使訓練更加可行。卷積層的一次又一次訓練構建出2倍分辨率的圖像。

在9個階段中,生成1024×1024圖像。

高分辨率圖像合成

需要注意的是這並非圖像分割,而是從語義圖上生成圖像。由於採集樣本非常昂貴,我們採用生成的數據來補充培訓數據集,以降低開發成本。在訓練自動駕駛汽車時可以自動生成視頻,而不是看到它們在附近巡航,這就爲我們的生活帶來了便捷。

網絡設計:

文本到圖像(StackGAN

文本到圖像是域轉移GAN的早期應用之一。比如,我們輸入一個句子就可以生成多個符合描述的圖像。

文本到圖像合成

另一個比較通用的實現:

人臉合成

不同姿態下的合成面:使用單個輸入圖像,我們可以在不同的視角下創建面。例如,我們可以使用它來轉換更容易進行人臉識別圖像。

圖像修復

幾十年前,修復圖像一直是一個重要的課題。gan就可以用於修復圖像並用創建的“內容”填充缺失的部分。

學習聯合分配

用面部字符P(金髮,女性,微笑,戴眼鏡),P(棕色,男性,微笑,沒有眼鏡)等不同組合創建GAN是很不現實的。維數的詛咒使得GAN的數量呈指數增長。但我們可以學習單個數據分佈並將它們組合以形成不同的分佈,即不同的屬性組合。

DiscoGAN

DiscoGAN提供了匹配的風格:許多潛在的應用程序。DiscoGAN在沒有標籤或配對的情況下學習跨域關係。例如,它成功地將樣式(或圖案)從一個域(手提包)傳輸到另一個域(鞋子)。

DiscoGAN和cyclegan在網絡設計中非常相似。

Pix2Pix

PIX2PIx是一種圖像到圖像的翻譯,在跨域Gan的論文中經常被引用。例如,它可以將衛星圖像轉換爲地圖(圖片左下角)。

DTN

從圖片中創建表情符號。

紋理合成

圖像編輯 (IcGAN)

重建或編輯具有特定屬性的圖像。

人臉老化(Age-cGAN)

神經照片編輯器

基於內容的圖像編輯:例如,擴展髮帶。

神經照片編輯

細化圖像

目標檢測

這是用gan增強現有解決方案的一個應用程序。

圖像融合

將圖像混合在一起。

視頻生成

創建新的視頻序列。它識別出什麼是背景,併爲前臺操作創建新的時間序列。

視頻鏈接

生成三維對象

這是用gan創建三維對象時經常引用的一篇文章。

音樂的產生

GaN可以應用於非圖像領域,如作曲。

醫療(異常檢測)

GAN還可以擴展到其他行業,例如醫學中的腫瘤檢測。

進一步閱讀

本文展示了一些GAN的相關應用程序。如果你感興趣想進一步研究GAN可以繼續閱讀以下文章:

第一部分:重點介紹如何應用gans解決深層次學習問題,以及爲什麼培訓gans如此困難。
GAN-關於GAN的綜合考察(上)

第二部分:GAN培訓問題解決概述。
GAN-關於GAN的綜合考察(下)

本系列中的所有文章:
GaN-GaN系列(從頭到尾)



本文作者:【方向】

閱讀原文

本文爲雲棲社區原創內容,未經允許不得轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章