前言

之前出过三篇换脸的博文，遇到一个问题是表情那一块不好处理，可行方法是直接基于2D人脸关键点做网格变形，强行将表情矫正到目标人脸，还有就是使用PRNet的思想，使用目标人脸的顶点模型配合源人脸的纹理，可以让表情迁移过来，但是这个表情是很僵硬的。比如笑脸的3D顶点模型，结合不笑人脸的纹理图，生成的笑脸是非常奇怪的。有兴趣可以翻csdn前面的文章，或者关注公众号检索人脸相关文章。

这里针对表情，采用另一种方案——blendshape。这个理论在表情动画中经常使用到，目的就是驱动人脸表情，无论是动画人脸还是真人的人脸，只要你这个人脸具有对应的顶点模型、纹理，还有很多标准的blendshape模型，分别对应不同的表情。

我们这里采用eos库实现表情变换，一来是很多blendshape数据集获取难度比较大，二来是这个库还是蛮好用的，有C++/python/matlab的接口，而且与之前研究的PRNet有很多相似的的。

国际惯例，参考博客：

基于PRNet的3D人脸重建与替换

eos官方文档

eos源码

eos作者提供的model的可视化工具，包括blendshape控制

算法流程

分为四步：

人脸关键点提取
3D人脸拟合
表情驱动
渲染

注意，一般来说，人脸重建是基于人脸关键点，不断去调整3D标准人脸的，使其变换到目标人脸的关键点形状，这一点可以去知乎上看看3DMM人脸重建相关文章，拟合过程一般涉及到两类参数：形状、表情

预备

先安装一些必备的环境，直接用pip安装eos-py、opencv-python、opencv-contrib-python

导入必要的库：

import eos
import numpy as np
import cv2
from matplotlib import pyplot as plt

然后把eos的源码下载保存在一个文件夹中，我们写的代码都在eos源码文件夹并列的代码中写，不要进到eos文件夹里面写代码，面得污染了环境。

人脸关键点提取

之前人脸替换系列的博客都用的opencv人脸关键点检测方法，这里也就不再说了，直接贴代码：

#初始化检测器
cas = cv2.CascadeClassifier('./facemodel/haarcascade_frontalface_alt2.xml')
obj = cv2.face.createFacemarkLBF()
obj.loadModel('./facemodel/lbfmodel.yaml')

# 检测人脸关键点
def detect_facepoint(img):
    img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    faces = cas.detectMultiScale(img_gray,2,3,0,(30,30))
    landmarks = obj.fit(img_gray,faces)
    assert landmarks[0],'no face detected'
    if(len(landmarks[1])>1):
        print('multi face detected,use the first')
    return faces[0],np.squeeze(landmarks[1][0])

#可视化图片
def vis_img(img):
    plt.imshow(cv2.cvtColor(img.copy(),cv2.COLOR_BGR2RGB))

测试看看

img_file = "./images/zly.jpg"
img = cv2.imread(img_file)
face_box,coords = detect_facepoint(img)

# 转换为eos库所需要的关键点输入格式
landmarks = []
ibug_index = 1  # count from 1 to 68 for all ibug landmarks
for l in range(coords.shape[0]):
    landmarks.append(eos.core.Landmark(str(ibug_index), [float(coords[ibug_index-1][0]), float(coords[ibug_index-1][1])]))
    ibug_index = ibug_index + 1
    
#可视化关键点
img_show = img.copy()
for kps in landmarks:
    face_kps = kps.coordinates
    cv2.circle(img_show,(face_kps[0],face_kps[1]),5,(0,255,0),-1)
vis_img(img_show)
plt.axis('off')

使用eos 重建人脸

因为是要用标准人脸和blendshape去拟合图片人脸关键点，所以需要先初始化一堆内容，这个是固定套路：

# 初始化eos
model = eos.morphablemodel.load_model("./eos/share/sfm_shape_3448.bin")
blendshapes = eos.morphablemodel.load_blendshapes("./eos/share/expression_blendshapes_3448.bin")
# Create a MorphableModel with expressions from the loaded neutral model and blendshapes:
morphablemodel_with_expressions = eos.morphablemodel.MorphableModel(model.get_shape_model(), blendshapes,color_model=eos.morphablemodel.PcaModel(),            vertex_definitions=None,                 texture_coordinates=model.get_texture_coordinates())
landmark_mapper = eos.core.LandmarkMapper('./eos/share/ibug_to_sfm.txt')
edge_topology = eos.morphablemodel.load_edge_topology('./eos/share/sfm_3448_edge_topology.json')
contour_landmarks = eos.fitting.ContourLandmarks.load('./eos/share/ibug_to_sfm.txt')
model_contour = eos.fitting.ModelContour.load('./eos/share/sfm_model_contours.json')

这个操作不用管，只要使用这个eos库重建人脸，只需把这一串代码复制下来用就行了，把模型路径改改就行；这些路径对应文件都在官方源码上有。

稍微解释一下作者为什么不把这一串操作封到一个对象里面，我们使用的时候直接一句话初始一个对象就行了？原因在于这个库是可以支持三种人脸模型(Surrey Face Model (SFM), 4D Face Model (4DFM), Basel Face Model (BFM))，而且对应的blendshape表情数也可以增加，还有很多其他的映射关系表也根据不同的模型而变化，所以还不如全部暴露出来，用户自行设置修改。

【注】上述初始化使用的人脸模型是SFM，作者提供的这个模型对应的blendshapes只有六种表情anger, disgust, fear, happiness, sadness, surprise，所以重建或者驱动效果其实不是特别理想，但是能看出来有驱动。如果读者其它两种模型，比如4DFM的人脸模型精细度(网格数目)就比较高，而且多达36种表情，就建议使用高精度模型尝试一波

初始化完毕，就可以针对关键点进行拟合：

# 重建人脸
(mesh, pose, shape_coeffs, blendshape_coeffs) = eos.fitting.fit_shape_and_pose(morphablemodel_with_expressions,
        landmarks, landmark_mapper, image_width, image_height, edge_topology, contour_landmarks, model_contour)

注意上面的返回值，shape_coeffs和blenshape_coeffs就是3DMM人脸重建中经常说的形状系数和表情系数了，前者拟合脸型，后者拟合表情。待会表情驱动就是利用表情系数来做的。

如果还记得之前写的PRNet人脸重建文章，里面有几个信息比较重要：3D顶点、人脸纹理图、网格顶点索引，在eos库中，可以直接通过下面这句话获取纹理信息

# 提取纹理
isomap = eos.render.extract_texture(mesh,pose,img).swapaxes(0,1)

因为后面使用meshlab打开重建的人脸需要这个纹理文件，所以提前保存一下，顺便可视化一波：

cv2.imwrite("result.isomap.png",isomap)
vis_img(isomap)

接下来就是需要根据得到的形状参数和表情系数，将标准人脸变换成咱赵丽颖的人脸，这里需要注意在issuee 35有人提到过C++中使用这句话

auto merged_shape = morphable_model.get_shape_model().draw_sample(fitted_coeffs) + to_matrix(blendshapes) * Mat(blendshape_coefficients);

但是在python中并未提供表情系数乘法对应的函数，那么直接写一个

def blendshape_add(bss,bc):
    bs_array = []
    for bs in bss:
        bs_array.append(bs.deformation)
    bs_array = np.array(bs_array).transpose()
    bc = np.array(bc)
    return np.dot(bs_array,bc)

再仿照C++代码写重建方法：

merge_shape = morphablemodel_with_expressions.get_shape_model().draw_sample(shape_coeffs) + blendshape_add(blendshapes,blendshape_coeffs);

表情驱动

如果要驱动表情，那么仅仅改改表情系数就可以了，比如

# 改变表情 anger, disgust, fear, happiness, sadness, surprise
blendshape_coeffs = [0,1,0,0,0,0]

这只是获取了形状，我们最终需要渲染的是mesh，所以还需要做一个转换，记录一下颜色信息，顶点信息什么的

merged_mesh = eos.morphablemodel.sample_to_mesh(merge_shape,morphablemodel_with_expressions.get_color_model().get_mean(),morphablemodel_with_expressions.get_shape_model().get_triangle_list(),morphablemodel_with_expressions.get_color_model().get_triangle_list(),morphablemodel_with_expressions.get_texture_coordinates());

渲染

接下来介绍两种可视化方法

使用meshlab可视化，因为上面我们保存过纹理文件，所以这里只需要把mesh保存一下
```
outputfile = "result.obj"
eos.core.write_textured_obj(merged_mesh,outputfile);
```
这时候我们就有了result.obj、result.mtl、result.isomap.png三个文件，直接双击obj用meshlab打开

使用代码可视化，按照之前学习PRNet中得到的知识，需要分别获取到人脸模型的3D顶点座标，每个人脸网格顶点索引，每个顶点的颜色信息，这些在eos求取的mesh中都有，分别取出来

triangles = np.array(merged_mesh.tvi) # 人脸网格对应的顶点索引
# 人脸顶点
vertices = []
for v in merged_mesh.vertices:
    vertices.append(np.array([v[0],-v[1],v[2]]))
vertices = np.array(vertices)
vertices = vertices-np.min(vertices)
# 纹理座标
texcoords = []
for tc in merged_mesh.texcoords:
    texcoords.append(tc)
texcoords = np.array(texcoords)
# 根据纹理座标获取每个顶点的颜色
colors = []
for i in range(texcoords.shape[0]):
    colors.append(isomap[int(texcoords[i][1]*(isomap.shape[0]-1)),int(texcoords[i][0]*(isomap.shape[1]-1)),0:3])
colors = np.array(colors,np.float32)

然后利用顶点的颜色，求平均得到网格的颜色

#获取三角形每个顶点的color，平均值作为三角形颜色
tri_tex = (colors[triangles[:,0] ,:] + colors[triangles[:,1],:] + colors[triangles[:,2],:])/3.

对每个网格上色

img_3D = np.zeros_like(img,dtype=np.uint8)
for i in range(triangles.shape[0]):
    cnt = np.array([(vertices[triangles[i,0],0],vertices[triangles[i,0],1]),
           (vertices[triangles[i,1],0],vertices[triangles[i,1],1]),
           (vertices[triangles[i,2],0],vertices[triangles[i,2],1])],dtype=np.int32)
    img_3D = cv2.drawContours(img_3D,[cnt],0,(int(tri_tex[i][0]), int(tri_tex[i][1]), int(tri_tex[i][2])),-1)

可视化

plt.figure(figsize=(8,8))
vis_img(img_3D)

有人奇怪，我上传的图片，讲道理没张嘴啊，为什么张嘴了，因为我们驱动了表情

# 改变表情 anger, disgust, fear, happiness, sadness, surprise
blendshape_coeffs = [0,1,0,0,0,0]

所以现在看起来是disgust这个表情，为啥看起来不自然，当然是因为丽颖的照片本来就在笑，导致默认纹理在笑，然后再加上blendshape比较粗糙，看起来就有点怪怪的。

生成表情驱动的gif

通过上面的一系列操作，我们可以基于eos自带的6种表情blendshape改变大颖妹子的面部表情，那么来搞个gif玩玩，思路就是对blendshape_coeffs做一个线性过渡即可

buff = []
frame_num = 20
for i in range(frame_num): #一个gif 10帧
    # 改变表情 anger, disgust, fear, happiness, sadness, surprise
    blendshape_coeffs = [1.0 - i/frame_num,0,0,0,0,i/frame_num]
    merge_shape = morphablemodel_with_expressions.get_shape_model().draw_sample(shape_coeffs) + blendshape_add(blendshapes,blendshape_coeffs);
    merged_mesh = eos.morphablemodel.sample_to_mesh(merge_shape,morphablemodel_with_expressions.get_color_model().get_mean(),morphablemodel_with_expressions.get_shape_model().get_triangle_list(),morphablemodel_with_expressions.get_color_model().get_triangle_list(),morphablemodel_with_expressions.get_texture_coordinates());
    triangles = np.array(merged_mesh.tvi) # 人脸网格对应的顶点索引
    # 人脸顶点
    vertices = []
    for v in merged_mesh.vertices:
        vertices.append(np.array([v[0],-v[1],v[2]]))
    vertices = np.array(vertices)
    vertices = vertices-np.min(vertices)
    # 纹理座标
    texcoords = []
    for tc in merged_mesh.texcoords:
        texcoords.append(tc)
    texcoords = np.array(texcoords)
    # 根据纹理座标获取每个顶点的颜色
    colors = []
    for i in range(texcoords.shape[0]):
        colors.append(isomap[int(texcoords[i][1]*(isomap.shape[0]-1)),int(texcoords[i][0]*(isomap.shape[1]-1)),0:3])
    colors = np.array(colors,np.float32)
    #获取三角形每个顶点的color，平均值作为三角形颜色
    tri_tex = (colors[triangles[:,0] ,:] + colors[triangles[:,1],:] + colors[triangles[:,2],:])/3.
    img_3D = np.zeros_like(img,dtype=np.uint8)
    for i in range(triangles.shape[0]):
        cnt = np.array([(vertices[triangles[i,0],0],vertices[triangles[i,0],1]),
               (vertices[triangles[i,1],0],vertices[triangles[i,1],1]),
               (vertices[triangles[i,2],0],vertices[triangles[i,2],1])],dtype=np.int32)
        img_3D = cv2.drawContours(img_3D,[cnt],0,(int(tri_tex[i][0]), int(tri_tex[i][1]), int(tri_tex[i][2])),-1)
    buff.append(cv2.cvtColor(img_3D,cv2.COLOR_BGR2RGB))
gif=imageio.mimsave('expression.gif',buff,'GIF',duration=0.1)

从愤怒到惊讶的效果图

后记

当前只是针对之前人脸替换的表情问题，按照blendshape驱动的方法，做了一个实验，至于还有其它问题，比如为啥这个人脸上有黑洞洞啊、怎么把人脸拼接到原图上，这个后续有机会再去折腾了，这个eos库的python接口文档不是特别详细，而且没C++那么完善。建议真有兴趣的老铁多看看issues，里面有很多有趣的问题。

代码上面都放出来了，如果想要我实验的代码，直接关注微信公众号，在公众号简介中的github中获取，同时本博文也同步更新到微信公众号中：

3D人脸表情驱动——基于eos库

前言

算法流程

预备

人脸关键点提取

使用eos 重建人脸

表情驱动

渲染

生成表情驱动的gif

后记

linux安装cuda和cudnn

测试人员都是画画大神，让我看看谁还不会用代码图？

Object.values()对象遍历

Mellanox网卡开启SR-IOV

我拍了拍Redis，被移出了群聊···

网络现代化通向云原生应用的高速公路

面试官：说说你对序列化的理解

我宣布，这是我找到的史上AI最全论文体系！

換臉系列——眼鼻口替換

【TensorFlow-windows】學習筆記七——生成對抗網絡

【TensorFlow-windows】部分損失函數測試

Openpose推斷階段原理

【TensorFlow-windows】keras接口——ImageDataGenerator裁剪

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結