騰訊開源 GFP-GAN 代碼 | 老照片修復!

點擊下方AI算法與圖像處理”,一起進步!

重磅乾貨,第一時間送達

文章來源 相約機器人



通常人面部修復將使用面部先驗,例如幾何和參考。然而當輸入質量低時,這些並不是特別有用,因爲它不能提供準確的幾何先驗或當高質量參考不可訪問時,因此它們只能在有限的範圍內應用於現實世界的場景。

 

騰訊 AI 的研究人員提出了他們的新GFP-GAN 模型,以在一次前向傳遞中實現真實性和保真度的良好平衡。該模型由退化去除模塊和預先訓練的人臉生成器組成。它們通過直接潛在代碼映射連接到使用 CS SFT 層的粗到細通道。CS-SFT 層對分割的特徵執行空間調製,並讓左側的特徵直接通過以更好地保存信息,從而允許所提出的方法結合生成先驗,同時有效地重新訓練高保真度。此外,研究人員在局部鑑別器中引入了面部成分損失,以進一步增強感知面部細節和身份保留增益,從而提高整體質量。

 

 

GFP-GAN 框架利用豐富多樣的生成面部,然後在面部恢復中創建真實性和保真度的良好平衡。這是通過通道分割空間特徵變換層實現的,能夠在真實世界圖像的準確性和泛化方面超越所有其他方法。廣泛的比較證明了這種卓越的能力,它超越了之前所做的任何事情。

 

關鍵點:


  1. 研究人員使用豐富多樣的面部先驗進行面部修復。
  2. 提出的具有 CS-SFT 層的 GFP-GAN 在一次前向傳遞中實現了保真度和紋理忠實度的良好平衡。
  3. 根據本文所提出的方法在合成數據集和真實世界數據集上的性能都優於現有技術。

 

論文:

https://arxiv.org/pdf/2101.04061.pdf

 

項目:

https://xinntao.github.io/projects/gfpgan

 

Github

https://github.com/TencentARC/GFPGAN


努力分享優質的計算機視覺相關內容,歡迎關注:

交流羣


歡迎加入公衆號讀者羣一起和同行交流,目前有美顏、三維視覺計算攝影、檢測、分割、識別、醫學影像、GAN算法競賽等微信羣


     
        
        
        
個人微信(如果沒有備註不拉羣!
請註明: 地區+學校/企業+研究方向+暱稱



下載1:何愷明頂會分享


AI算法與圖像處理」公衆號後臺回覆:何愷明,即可下載。總共有6份PDF,涉及 ResNet、Mask RCNN等經典工作的總結分析


下載2:終身受益的編程指南:Google編程風格指南


AI算法與圖像處理」公衆號後臺回覆:c++,即可下載。歷經十年考驗,最權威的編程規範!



   
      
      
      
下載3 CVPR2021

AI算法與圖像處公衆號後臺回覆: CVPR 即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文


本文分享自微信公衆號 - AI算法與圖像處理(AI_study)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章