公衆號關注 “GitHubDaily”
設爲 “星標”，每天帶你逛 GitHub！
大家好，我是小 G。
在這個追求高清畫質的時代，我們對渣畫質的容忍度越來越低。
在知乎上搜索「低分辨率」、「渣畫質」，會看到一大片諸如「如何補救清晰度低的照片」、「如何拯救渣畫質」之類的問題。
那麼，將渣到馬賽克級別的畫面秒變高清，是一種怎樣的體驗？杜克大學的研究人員用 AI 算法告訴你。
GitHub 鏈接：https://github.com/adamian98/pulse
前所未有，「馬賽克」瞬間變高清
杜克大學的研究人員提出了一種 AI 算法，稱之爲 PULSE（Photo Upsampling via Latent Space Exploration，通過潛在空間探索的照片上採樣）。
該算法可以將模糊、無法識別的人臉圖像轉換成計算機生成的圖像，其細節比之前任何時候都更加精細、逼真。
根據輸入的低分辨率圖片，系統會生成一系列高清圖像
如果用以前的方法，想要把一張模糊的「大頭照」變清晰，最多隻能將這張照片縮放到原始分辨率的八倍。
但是杜克大學的團隊提出了一種新的方法，僅在幾秒鐘內，就可以把 16x16 像素的低分辨率（Low Resolution，以下簡稱 LR）小圖，放大 64 倍，變成 1024 x 1024 像素的高分辨率（High Resolution，以下簡稱 HR）圖像。
他們的 AI 工具會「想象」出一些原本不存在的特徵，即使是原本 LR 照片中無法看到的細節，比如毛孔、細紋、睫毛、頭髮和胡茬等，經過其算法處理後，都能看得一清二楚。
來看一個具體示例：
左圖爲原始低分辨率圖像，右圖爲系統創建的高清圖像
領導該團隊的杜克大學計算機科學家辛西婭・魯丁（Cynthia Rudin）說：「以前從來沒有像現在這樣，能用這麼少的像素，就創造出擁有大量細節的超分辨率圖像。」
在實際應用方向上，論文的共同作者 Sachit Menon 介紹稱：「在這些研究中，我們只是用面部作爲概念驗證。
但從理論上講，該技術是通用的，從醫學、顯微鏡學到天文學和衛星圖像，都可以通過該技術改善畫質。」
打破傳統操作，實現最佳效果
雖說此前已經有很多類似的低清變高清的方法，但能夠達到像素放大 64 倍級別的，還是業界首次。
傳統方法：像素匹配，易出 bug
傳統方法處理此類問題時，一般拿到 LR 圖像後，會「猜測」需要多少額外的像素，然後試着將此前處理過的 HR 圖像中相應的像素，匹配給 LR 圖像。
而這種單純匹配像素的結果是，像頭髮和皮膚的紋理這種區域，會出現像素匹配錯位的現象。
而且該方法還會忽略了 HR 圖像中，感光性等感知細節。所以最終在平滑度、感光度上出現問題，結果依然會顯得模糊或者不真實。
之前的一些方法，部分生成結果有點詭異
新方法：低清圖像「連連看」
杜克大學的團隊則提出的新方法，可以說是開闢了新的思路。
在拿到一張 LR 圖像後，PULSE 系統不會慢慢添加新的細節，而是遍歷 AI 生成的 HR 圖像，將這些 HR 圖像對應的 LR 圖像與原圖對比，找到最接近的那張。
打個比方，相當於拿 LR 圖片做個「連連看」，找到最相似的 LR 版本，那麼再反推回去，這張 LR 圖像所對應的 HR 圖像，就是最終要輸出的結果。
原始 LR 圖片（上），PULSE 輸出的 HR 圖片（中）
HR 圖片對應的 LR 圖（下）
團隊使用了生成對抗網絡（簡稱 GAN ），它包括對同一張照片數據集進行訓練的兩個神經網絡，即生成器與鑑別器。
其中，生成器模擬它所受過訓練的人臉，提供 AI 創建的人臉，而鑑別器則獲得了該輸出，並確定它是否足以以假亂真。
隨着經驗的積累，生成器的經驗會越來越好，直到鑑別器無法分辨出差異。
他們用一些真實圖像進行試驗，效果對比如下圖所示：
上排爲真實圖片，中排爲將真實圖片下采樣而來 LR 圖像
下排爲 PULSE 根據 LR 圖像生成的 HR 圖像
雖然生成的高分辨率圖與原圖仍有一些差距，但是這比以前的方法要清晰很多。
評估：優於其它方法，得分接近真實照片
團隊在著名的高分辨率人臉數據集 CelebA HQ 上評估了其算法，用 64×，32× 和 8× 的比例因子進行了這些實驗。
研究人員要求 40 個人對通過 PULSE 和其他五種縮放方法生成的 1440 張圖像進行 1 到 5 的評分，而 PULSE 的效果最佳，得分幾乎與真實的高質量照片一樣高。
HR 爲實際的高清人像數據集，得分僅比 PULSE 高 0.14
團隊成員表示，PULSE 可以從嘈雜、低質量的輸入中，創建逼真的圖像，即使原圖連眼睛、嘴巴都無法辨認。這是其他方法無法做到的。
與其它方法對比，PULSE 將細節處理得更爲逼真
不過，該系統還不能用於識別身份，研究人員表示：「它無法將安全攝像頭拍攝的失焦、不能識別的照片，變成真人的清晰圖像。它僅會生成不存在但看上去很真實的新面孔。」
在具體應用場景上，除了上文提到的，該技術未來可能應用在醫學、天文學之外，對於大衆來說，擁有這項黑科技之後，就可以把 N 年前的老照片變高清。對於編輯同志們來說，更是一大福音，再也不用爲找高清配圖而頭大了。
從此告別「畫質感人」
溫馨提示：研究人員還會在正在舉行的 CVPR 2020（計算機視覺和模式識別會議）上介紹他們的方法，大家可以關注一下：
http://cvpr2020.thecvf.com/program/tutorials
論文地址：
https://arxiv.org/pdf/2003.03808.pdf
參考資料：
https://www.sciencedaily.com/releases/2020/06/200612111409.htm
---
由 GitHubDaily 原班人馬打造的公衆號：GitCube，現已正式上線！
接下來我們將會在該公衆號上，爲大家分享優質的計算機學習資源與開發者工具，堅持每天一篇原創文章的輸出，感興趣的小夥伴可以關注一下哈！