“造”个自己去开会：最牛 3D 人脸建模系统，输入一张照片就行

1 月 26 日消息，伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员设计出一个人脸建模系统 AvatarMe。AvatarMe 可以依据任意一张人脸照片和一些面部细节，生成 4K x 6K 分辨率的 3D 人脸模型。

AvatarMe 是首个能根据单一图像生成较高分辨率 3D 人脸模型的系统。在未来，AvatarMe 或可用于视频会议等各个 VR 应用场景。

这项研究发表于 CVPR 2020，论文标题为《AvatarMe：“在野外”的真实的可渲染的 3D 脸部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。

论文链接：

https://arxiv.org/pdf/2003.13845.pdf

CVPR（Conference on Computer Vision and Pattern Recognition）是由 IEEE 举办的计算机视觉和模式识别领域的顶级会议，本届会议在 6 月 13 日到 6 月 19 日之间举办。

AvatarMe：依据一张照片生成逼真的 3D 人脸

3D 人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年，许多研究团队研发了基于生成对抗性网络（GAN）的 3D 人脸建模系统。

GAN 由一个生成网络和一个判别网络组成。GAN 模型的学习过程就是生成网络和判别网络的相互博弈的过程：生成网络随机合成一张图片，让判别网络判断这张图片的真假，继而根据判别网络给出的反馈不断提高 “造假”能力，最终做到以假乱真。

但是，在依据任意人脸照片生成 3D 人脸模型方面，现有的解决方案普遍性能较差，生成的 3D 人脸模型分辨率较低。

伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员认为，这是因为两个原因：

一方面，研究人员缺乏可用于培训的数据；另一方面，可成功应用于高分辨率数据的稳健方法也比较少。

为了解决这些问题，伦敦帝国理工学院和初创公司 FaceSoft.io 的研发人员捕获了一个关于面部形状和反射率的大型数据集。

同时，研究人员采用基于艺术状态的 3D 纹理和形状重建方法，以渲染所需的每像素分辨率和镜面反射分量。最终，研究人员成功地优化了 3D 人脸建模结果。

▲AvatarMe 系统的管道结果

采用两种捕获方法收集超 200 张人脸图像

为了建立可用于训练的人脸数据集，研究人员采用两种方法收集数据。

第一种方法中，研究人员利用一个有 168 个光源的极化 LED 球泡灯和 9 台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化 LED 球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化方式的光源交错排布。

第二种方法中，研究人员利用非极化的 LED 球泡灯进行色彩空间分析，以捕获解缠的纹理。相比于第一种方法，利用非极化的 LED 球泡灯只需捕获不到一半的数据，因此捕获时间较短短。另外，由于不需要偏振片（polarizer），非极化的 LED 球泡灯设置也比较简单。

通过这两种方法，研究人员采集到超过 200 个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究人员将收集到的图像引入一个标准拓扑结构中，建立人脸数据库。

研究人员将这一数据库命名为 RealFaceDB，根据论文，与同类人脸数据库相比，RealFaceDB 规模为最大。

▲将人脸图像引入标准拓扑结构

不仅能用低分辨率照片建模 戴墨镜照片也行

基于 RealFaceDB 数据库，研究人员开始训练基于 GAN 的 AvatarMe 系统。

训练过程中，研究人员首先输入一张低分辨率的人脸图片，用 3DMM 算法重建一个带纹理的基本几何体。然后，利用一个超级分辨率网络，研究人员重建纹理映射。接下来，研究人员利用一个去照明网络获得高分辨率的漫反射函数（AD）。最后，研究人员利用漫反射函数 AD 和基本几何体，推断出其他部分的函数（AS、ND、NS），进而建立仿真的 3D 人脸模型。

经过训练，AvatarMe 系统可以输出 4K x 6K 分辨率的 3D 人脸模型。

为了评估 AvatarMe 的性能，研究人员输入随机图片，观察 AvatarMe 重建的 3D 模型是否逼真。结果显示，AvatarMe 系统重建的 3D 人脸模型没有产生伪影。另外，在照片主人公戴有墨镜的情况下，系统也能较精准地建模。

结语：未来计划把 RealFaceDB 数据库开源

本项研究中，伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员设计出人脸建模系统 AvatarMe。AvatarMe 可以利用任意一张人脸照片，建立出较高分辨率的 3D 人脸模型。

研究人员还建立了同类数据库中规模最大的 RealFaceDB 数据库。研究人员称，未来计划将这一数据库向科学界开源。

同时，论文指出，RealFaceDB 数据库还存在一些局限性。比如，RealFaceDB 数据库中缺乏来自深肤色种族的样本。因此，在依据深肤色种族样本建模时，AvatarMe 系统建立的 3D 人脸模型分辨率有所降低。