作者 | eEhyQx
出品 | AI科技大本營
現象級大作《賽博朋克2077》終於沒有跳票順利發佈了！你通關了嗎？
來自上海科技大學的學生社團GeekPie打造了一款全新的“濾鏡”，CyberMe。只需上傳一張照片，一秒將你帶入夜之城！
上傳一段簡短的視頻，你還可以讓它動起來……
據悉，這項工作使用了與幾個月前火遍國外的Toonify使用了相同的技術棧。
遷移學習
遷移學習是指將一個預訓練模型重新應用在另一個任務中，往往能有減少新模型訓練時間的作用。
團隊首先利用賽博朋克2077的捏臉模塊隨機生成了500個角色，作爲StyleGAN2的輸入在FFHQ預訓練模型的基礎上展開遷移學習。
由於使用了遷移學習技術，只需要在一般人就能擁有的RTX 2080上訓練4個小時，StyleGAN模型能夠輸出較爲賽博朋克風格的圖像。
模型融合
由於StyleGAN的結構，不同層的網絡能夠在不同程度上影響最終的輸出結果。大體可以總結爲，低分辨率的層將顯著影響最終輸出的結構，高分辨率層則決定了材質以及光影細節。
團隊將遷移學習得來的模型與FFHQ原模型融合，FFHQ預訓練模型與遷移學習得來的模型分別提供網絡的低分辨率層與高分辨率層。融合網絡能夠彌補由於數據量小、訓練時間短而造成的模型質量不佳問題，以達到更加真實的效果。
此時，通過使用StyleGAN Encoder尋找某個人在StyleGAN FFHQ模型中latent code的方式，融合後的模型已經能夠根據一張人像輸出對應的賽博朋克風人像。但由於整個Encoder過程本質上是一步使用VGG的優化，1000次迭代的優化往往需要數分鐘時間，十分緩慢，無法同時處理大量請求，這也是Toonify項目最初下線的原因。
Pix2PixHD
Pix2PixHD網絡與StyleGAN同樣是由英偉達提出的，面向處理由一張圖像轉變爲另一張圖像的任務。Pix2PixHD具有不錯的實時性，但在生成質量上不及StyleGAN。
爲了解決生成速度這一問題，團隊利用現在的StyleGAN預訓練的FFHQ模型與遷移學習融合後的模型生成了50000張“真人-賽博朋克”風圖片對，並以此作爲訓練數據，訓練了一個Pix2PixHD網絡。
在經過長達12小時左右的訓練後，整個Pix2PixHD能夠逼近StyleGAN的效果，並且在1秒內完成生成運算。
其他問題
因爲遊戲捏臉環節光照與環境與真實環境略有差異，Pix2PixHD生成結果與原始輸入人臉的膚色與光照等略有出入。爲了解決這個問題，團隊使用直方圖均衡等傳統數字圖像處理手段將不同通道強度與原圖相匹配，使得輸出圖像與原始圖像在顏色與亮度分佈上與原始輸入人臉相近，以達到貼近真實人臉的效果。
由於用於訓練的數據由《賽博朋克2077》遊戲的捏臉系統隨機生成，故質量有限。開發者也在網站開放了“幫助我們變得更好”的按鈕，邀請使用者提交自己在遊戲中完成的捏臉作品。
目前，這項工作已經上線至https://cyberme.geekpie.club，同時支持油畫、浮世繪、卡通立繪、兵馬俑等多種風格，並將持續更新。
技術交流請郵件：[email protected]
參考鏈接：
https://cyberme.geekpie.club
https://arxiv.org/pdf/2010.05334.pdf
更多精彩推薦