李宏毅《GAN Lecture》學習筆記8 - Photo Editing

Photo Editing

本節內容介紹使用GAN來提升圖像編輯的能力，課程pdf和video。

Latent Vector與生成的圖像屬性有關係

使用GAN生成高清照片（如人臉照片）已經越來越多，2019年初的StyleGAN已經可以完成高清的、逼真的人生成。輸入是latent vector，輸出是一幅高清圖像。通過修改latent vector，就可以改變輸出的圖像特點（如改變頭髮長短、髮型、性別、面部表情、不同的朝向等）。

如何確認latent feature與生成的人物屬性之間的關係

使用Encoder生成latent vector

• 通過增加一個Encoder，使得Encoder+Generator作爲一個整體，訓練Encoder，使其輸入x和輸出x_gen儘可能相同。這樣，就有一個Encoder，可以將圖像x轉成latent vector；
• 訓練Encoder，可以使用Discriminator的參數作爲初始值；
  

使用圖像的均值向量（average latent vector）之間的差異代表特性

下面是以長髮和短髮的特性差異作爲案例，可以先收集一些人物圖片，將長髮的圖片和短髮的各自計算latent vector，並取均值，兩者之差就是長髮的特性。
輸入一幅短髮的圖片x，經過Encoder計算latent vector，再加上上面的特性向量，就變成了長髮的特性向量，再由Generator生成出長髮的圖像。

智能Photoshop的實現

通過在原先的黑色T-shirt上畫上一筆紅色的顏料，就生成一件紅色的T-shirt。

從圖像到latent vector的幾種方法

損失函數的定義

通過求解下面的損失函數，就可以得到想要latent vector，在通過G生成出相應的圖片就可以了。

其他案例

使用GAN還可以做圖像的增強

數據源可以反過來生成，從高清到模糊。

圖像補全

看起來很容易做一些不太好的事啊 😃