導讀：將「馬賽克」像素級別的大頭照轉換成高清照片，是一種怎樣的體驗？杜克大學提出的 AI 算法，不僅可以「去掉馬賽克」，還能精細到每一道皺紋、每一根頭髮。你要試試嗎？
作者：神經小兮，本文授權轉載自公衆號HyperAI超神經（ID：HyperAI），「鏈接人工智能新場景」
在這個追求高清畫質的時代，我們對渣畫質的容忍度越來越低。
在知乎上搜索「低分辨率」、「渣畫質」，會看到一大片諸如「如何補救清晰度低的照片」、「如何拯救渣畫質」之類的問題。
那麼，將渣到馬賽克級別的畫面秒變高清，是一種怎樣的體驗？杜克大學的研究人員用 AI 算法告訴你。
GitHub 鏈接：
https://github.com/adamian98/pulse
01 前所未有，「馬賽克」瞬間變高清
杜克大學的研究人員提出了一種 AI 算法，稱之爲 PULSE（Photo Upsampling via Latent Space Exploration，通過潛在空間探索的照片上採樣）。
該算法可以將模糊、無法識別的人臉圖像轉換成計算機生成的圖像，其細節比之前任何時候都更加精細、逼真。
▲根據輸入的低分辨率圖片，系統會生成一系列高清圖像
如果用以前的方法，想要把一張模糊的「大頭照」變清晰，最多隻能將這張照片縮放到原始分辨率的八倍。
但是杜克大學的團隊提出了一種新的方法，僅在幾秒鐘內，就可以把 16x16 像素的低分辨率（Low Resolution，以下簡稱 LR）小圖，放大 64 倍，變成 1024 x 1024 像素的高分辨率（High Resolution，以下簡稱 HR）圖像。
他們的 AI 工具會「想象」出一些原本不存在的特徵，即使是原本 LR 照片中無法看到的細節，比如毛孔、細紋、睫毛、頭髮和胡茬等，經過其算法處理後，都能看得一清二楚。
來看一個具體示例：
▲左圖爲原始低分辨率圖像，右圖爲系統創建的高清圖像
領導該團隊的杜克大學計算機科學家辛西婭·魯丁（Cynthia Rudin）說：「以前從來沒有像現在這樣，能用這麼少的像素，就創造出擁有大量細節的超分辨率圖像。」
在實際應用方向上，論文的共同作者 Sachit Menon 介紹稱：「在這些研究中，我們只是用面部作爲概念驗證。
但從理論上講，該技術是通用的，從醫學、顯微鏡學到天文學和衛星圖像，都可以通過該技術改善畫質。」
02 打破傳統操作，實現最佳效果
雖說此前已經有很多類似的低清變高清的方法，但能夠達到像素放大 64 倍級別的，還是業界首次。
1. 傳統方法：像素匹配，易出 bug
傳統方法處理此類問題時，一般拿到 LR 圖像後，會「猜測」需要多少額外的像素，然後試着將此前處理過的 HR 圖像中相應的像素，匹配給 LR 圖像。
而這種單純匹配像素的結果是，像頭髮和皮膚的紋理這種區域，會出現像素匹配錯位的現象。
而且該方法還會忽略了 HR 圖像中，感光性等感知細節。所以最終在平滑度、感光度上出現問題，結果依然會顯得模糊或者不真實。
▲之前的一些方法，部分生成結果有點詭異
2. 新方法：低清圖像「連連看」
杜克大學的團隊則提出的新方法，可以說是開闢了新的思路。
在拿到一張 LR 圖像後，PULSE 系統不會慢慢添加新的細節，而是遍歷 AI 生成的 HR 圖像，將這些 HR 圖像對應的 LR 圖像與原圖對比，找到最接近的那張。
打個比方，相當於拿 LR 圖片做個「連連看」，找到最相似的 LR 版本，那麼再反推回去，這張 LR 圖像所對應的 HR 圖像，就是最終要輸出的結果。
▲原始 LR 圖片（上），PULSE 輸出的 HR 圖片（中），HR 圖片對應的 LR 圖（下）
團隊使用了生成對抗網絡（簡稱 GAN ），它包括對同一張照片數據集進行訓練的兩個神經網絡，即生成器與鑑別器。
其中，生成器模擬它所受過訓練的人臉，提供 AI 創建的人臉，而鑑別器則獲得了該輸出，並確定它是否足以以假亂真。
隨着經驗的積累，生成器的經驗會越來越好，直到鑑別器無法分辨出差異。
他們用一些真實圖像進行試驗，效果對比如下圖所示：
▲上排爲真實圖片，中排爲將真實圖片下采樣而來 LR 圖像，下排爲 PULSE 根據 LR 圖像生成的 HR 圖像
雖然生成的高分辨率圖與原圖仍有一些差距，但是這比以前的方法要清晰很多。
03 評估：優於其它方法，得分接近真實照片
團隊在著名的高分辨率人臉數據集 CelebA HQ 上評估了其算法，用 64×，32× 和 8× 的比例因子進行了這些實驗。
研究人員要求 40 個人對通過 PULSE 和其他五種縮放方法生成的 1440 張圖像進行 1 到 5 的評分，而 PULSE 的效果最佳，得分幾乎與真實的高質量照片一樣高。
▲HR 爲實際的高清人像數據集，得分僅比 PULSE 高 0.14
團隊成員表示，PULSE 可以從嘈雜、低質量的輸入中，創建逼真的圖像，即使原圖連眼睛、嘴巴都無法辨認。這是其他方法無法做到的。
▲與其它方法對比，PULSE 將細節處理得更爲逼真
不過，該系統還不能用於識別身份，研究人員表示：「它無法將安全攝像頭拍攝的失焦、不能識別的照片，變成真人的清晰圖像。它僅會生成不存在但看上去很真實的新面孔。」
在具體應用場景上，除了上文提到的，該技術未來可能應用在醫學、天文學之外，對於大衆來說，擁有這項黑科技之後，就可以把 N 年前的老照片變高清。對於編輯同志們來說，更是一大福音，再也不用爲找高清配圖而頭大了。
從此告別「畫質感人」
溫馨提示：研究人員還會在 CVPR 2020（計算機視覺和模式識別會議）上介紹他們的方法，大家可以關注一下：
http://cvpr2020.thecvf.com/program/tutorials
論文地址：
https://arxiv.org/pdf/2003.03808.pdf
參考資料：
https://www.sciencedaily.com/releases/2020/06/200612111409.htm
劃重點????
乾貨直達????
更多精彩????
在公衆號對話框輸入以下關鍵詞
查看更多優質內容！
PPT | 讀書 | 書單 | 硬核 | 乾貨 | 講明白
大數據 | 雲計算 | 數據庫 | Python | 可視化 | 神操作
AI | 人工智能 | 機器學習 | 深度學習 | 神經網絡
5G | 中臺 | 用戶畫像 | 1024 | 大神 | 數學 | 揭祕
據統計，99%的大咖都完成了這個神操作
????
