换脸方法之FSGAN

论文：FSGAN: Subject Agnostic Face Swapping and Reenactment

官网：https://nirkin.com/fsgan/

Github：https://github.com/YuvalNirkin/fsgan

https://github.com/1adrianb/2D-and-3D-face-alignment

 

ICCV2019

 

论文提出了一种新的换脸（swapping ）和再现（reenactment ）的方法FSGAN，可以对图片和视频实现换脸操作。在v100显卡上，reenactment 可以达到30fps，swapping 可以达到10fps。

 

主要贡献：

（1）首次处理姿态，表情，人物ID的信息，并且不需要人物对的训练就取得了非常高的质量。

（2）提出了基于三角剖分（Delaunay Triangulation ）和质心座标（barycentric coordinates ）解决多视角情况下的相同人脸的插值问题。

（3）提出了stepwise consistency loss 训练人脸再现，提出了Poisson blending loss 训练生成图片和原始图片的融合。

 

整体流程：

首先根据source图像Is和目标target图像It，基于3d人脸landmark检测器，分别提取原图和目标图的人脸框，landmark，欧拉角，这3个指标。然后使用一个reenactment再现人脸姿态的网络，通过source图像生成和target图像人脸欧拉角一样的图片Ir。然后通过一个分割segmentation的模型，分别对生成的图片Ir和目标图片It进行分割操作。得到人脸和头发的mask区域。然后通过一个inpainting修复网络，对人脸区域进行修复，得到Ic。最后基于一个blending融合网络，基于目标图，修复体，mask图，进行融合，得到最终换脸后输出图Ib。

 

 

损失函数：

perceptual loss ：

Reconstruction loss :

Adversarial loss :

reenactment loss , segmentation loss:

Face view interpolation loss:

 

Face inpainting loss:

 

Face blending loss:

 

实验结果：

 

总结：

（1）换脸的五官效果，好于faceshifter