論文：DeepFaceLab: A simple, flexible and extensible face swapping framework
Github：https://github.com/iperov/DeepFaceLab
論文提出了一個簡單，靈活，可擴展的換臉框架DeepFaceLab。
使用DeepFaceLab進行換臉的，湯姆·克魯斯2020“參選”美國總統的競選廣告
主要貢獻：
- 一個具有成熟流程的state-of-the-art 的框架提出，旨在獲得真實圖片結果的換臉效果。
- 自打2018年以來，DeepFaceLab開源了源碼，一直保持在計算機視覺領域的進步，對防衛假臉做出了貢獻。在開源社區和VFX 領域取得了廣泛關注。
- DeepFaceLab提供了一些高效的組尖和工具，使得用戶可以更加靈活的操作和及時發現問題。
DeepFaceLab特點：
- Leras ，更加輕量的keras，使用TensorFlow作爲深度學習框架。具備簡單和靈活的模型構建能力。訓練過程的時間性能指標減少10%-20%。具備更加靈活的tensor的控制。
- Put users first ，用戶優先
- Engineering support ，工程化支持，支持多gpu訓練，支持半精度訓練
- 可擴展性和可批量化特性，Extensibility and Scalability
整體流程：
整體處理過程包括人臉檢測，人臉關鍵點檢測及對齊，人臉分割，人臉融合，人臉銳化。
人臉檢測Face Detection ：
DeepFaceLab使用S3FD作爲默認的人臉檢測框架，也可以使用其他的檢測框架，比如RetinaFace , MTCNN
人臉對齊Face Alignment ：
對於正常姿勢的人臉使用2DFAN ，對於歐拉角較大的人臉使用PRNet
人臉分割Face Segmentation :
使用TernausNet ，XSeg
人臉融合Face Blending ：
提供了超過5種以上的顏色變換算法，包括，reinhard color transfer（RCT） , iterative distribution transfer（IDT）
正常的融合方式，類似alpha融合。爲了實現對不同的皮膚顏色，人臉形狀，光照條件進行優化，這裏提出了自己的泊松融合方式，
人臉銳化Face Sharpening :
提供了人臉超分辨模型FaceEnhancer 。
網絡結構：
DeepFaceLab 包含2種模型結構，分別爲DF和LIAE。
在DF模型中，原圖和目標圖的隱空間特徵都是通過Inter模塊進行的提取。而在LIAE模型中，則是分別通過InterAB，InterB，2個模塊進行提取。其中，InterAB會輸出原圖和目標圖的隱空間特徵，InterB只輸出目標圖的隱空間特徵。
然後，InterAB的輸出原圖特徵和自己進行通道的concat，然後輸入解碼模塊。InterAB的輸出目標圖特徵和InterB的輸出目標圖特徵進行concat，然後輸入解碼模塊。
在訓練過程中，通過對人臉眼睛區域加mask操作，使得眼睛部分傳遞更大的loss，頸部則傳遞較少的loss，使得換臉後的生成圖片具有生動的眼睛細節。
訓練的loss使用DSSIM (structural dissimilarity) + MSE ，其中，DSSIM 可以使得生成的人臉訓練速度更快，MSE 則提供了更好的人臉細節。
DF模塊的詳細結構圖如上圖，LIAE模塊與之類似。
DF結構裏面包含了普通模塊DF和高清DFHD模塊，共2個分支。兩者的主要區別就是DFHD在編碼和解碼模塊都堆疊了更多的層。
該結構的主要特點：
- 使用pixelshuffle (depth2space) 進行上採樣，而不是反捲積和雙線性插值。這樣做的好處就是可以消除生成圖片邊界效應。
- 解碼模塊採用殘差連接方式，融合更多的特徵。
- 最後一層的輸出，採用sigmoid歸一化輸出爲0--1之間，而不是採用tanh歸一化到-1--1之間。
實驗結果：
總結：
Suppressing the publication of such methods would not stop their development, but rather make them only available to a limited number of experts and potentially blindside policy makers if it goes without any limits