中科院自動化所（CASIA），中科院大學和南昌大學的一項合作研究，提出了雙路徑 GAN（TP-GAN），通過單一側面照片合成正面人臉圖像，取得了當前較好的結果。研究人員提出了一個像人類一樣能夠考慮整體和局部信息的 GAN 結構，合成的圖像非常逼真且很好地保留了身份特徵，並且可以處理大量不同姿勢的照片。研究人員指出，這些合成的圖像有可能用於人臉分析的任務。
他們受人類視覺識別過程啓發，結合對抗生成網絡（GAN）的強大性能，提出了一個雙路徑 GAN（TP-GAN），能夠在關注整體結構的同時，處理人臉面部細節，在不同的角度、光照條件都取得了很好的結果。不僅如此，這種方法還能夠處理大量不同姿勢的照片。
他們的這項工作主要貢獻在於三個方面：
1）提出了一個像人類一樣能夠考慮整體和局部信息的 GAN 結構，能夠根據單一的圖像合成正面人臉視圖，合成的圖像非常逼真且很好地保留了身份特徵，而且可以應對大量不同的姿勢。
2）將從數據分佈（對抗訓練）得來的先驗知識，和人臉領域知識（對稱性、身份保留損失）結合起來，將從三維物體投射到二維圖像空間時固有的缺失信息較精確地恢復了出來。
3）展示了一個“通過生成進行識別”（recognition via generation）的框架的可能性，並且在大量不同姿勢下取得了目前較好的識別結果。
受此啓發，作者提出了一個有兩條路徑的深度架構（TP-GAN），用於正面人臉圖像合成。這兩條路徑，一條專注於推理全局結構，另一條則推理局部的紋理，分別得到兩個特徵地圖。這兩個特徵圖會融合在一起，用於接下來的最終合成。
TP-GAN總結構示意圖。生成器包含兩個路徑，一個處理全局信息，一個處理局部變換。判別器在合成的正面（SF）視圖和真實相片（GT）。
不僅如此，作者還將正面人臉分佈的信息併入了一個生成對抗網絡（GAN），由此對恢復過程進行了很好的約束。
GAN 在二維數據分佈建模方面的卓越性能（capacity）極大地改善了很多不合理的低級視覺問題，比如超分辨率和修復（inpainting）。
組合多種Loss，合成缺失部分，保留面部突出特徵。
根據人臉是對稱結構這一點，提出了一個對稱性損失（symmetry loss），用於補全被遮擋住的部分。
困難場景。面部特徵，包括鬍鬚、眼鏡，TP-GAN 都保留了下來。最右邊一欄，上面那張圖將臉頰恢復了出來，下面那張圖則是側面看不見額頭，但 TP-GAN 成功地將額頭恢復了出來。
爲了忠實地保留一個人臉部最突出的特徵，作者在壓縮特徵空間中除了像素級別的L1 loss，還使用了一個感知損失（perceptual loss）。
最後，關鍵一環，將身份保留損失（identity preserving loss）整合進來，實現忠實的正面臉部合成，圖像質量得到大幅提升。
TP-GAN 根據不同姿勢合成的結果。從左到右：90°、75°、45°、60°、30°和 15°。最後一欄是真實相片。
使用單一臉部圖像合成逼真的正面臉部視圖在人臉識別領域中有着廣泛的應用。儘管此前有研究試圖從大量面部數據中尋求解決方案，也即數據驅動的深度學習方法，但這個問題仍然具有挑戰性，因爲它本質上是個不合理的問題（ill-posed）。