伦敦帝国理工学院设计出人脸建模系统可依据一张照片生成3D人脸模型

AvatarMe 可以依据任意一张人脸照片和一些面部细节，生成 4K x 6K 分辨率的 3D 人脸模型。

AvatarMe 是首个能根据单一图像生成较高分辨率 3D 人脸模型的系统。在未来，AvatarMe 或可用于视频会议等各个 VR 应用场景。

这项研究发表于 CVPR 2020，论文标题为《AvatarMe：“在野外”的真实的可渲染的 3D 脸部重建(AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”)》。3D 人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年，许多研究团队研发了基于生成对抗性网络(GAN)的 3D 人脸建模系统。

GAN 由一个生成网络和一个判别网络组成。GAN 模型的学习过程就是生成网络和判别网络的相互博弈的过程：生成网络随机合成一张图片，让判别网络判断这张图片的真假，继而根据判别网络给出的反馈不断提高 “造假”能力，最终做到以假乱真。

但是，在依据任意人脸照片生成 3D 人脸模型方面，现有的解决方案普遍性能较差，生成的 3D 人脸模型分辨率较低。

伦敦帝国理工学院和初创公司 FaceSoft.io 的研究人员认为，这是因为两个原因：

一方面，研究人员缺乏可用于培训的数据;另一方面，可成功应用于高分辨率数据的稳健方法也比较少。

为了解决这些问题，伦敦帝国理工学院和初创公司 FaceSoft.io 的研发人员捕获了一个关于面部形状和反射率的大型数据集。

同时，研究人员采用基于艺术状态的 3D 纹理和形状重建方法，以渲染所需的每像素分辨率和镜面反射分量。最终，研究人员成功地优化了 3D 人脸建模结果。

采用两种捕获方法收集超 200 张人脸图像

为了建立可用于训练的人脸数据集，研究人员采用两种方法收集数据。

第一种方法中，研究人员利用一个有 168 个光源的极化 LED 球泡灯和 9 台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化 LED 球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化方式的光源交错排布。

第二种方法中，研究人员利用非极化的 LED 球泡灯进行色彩空间分析，以捕获解缠的纹理。相比于第一种方法，利用非极化的 LED 球泡灯只需捕获不到一半的数据，因此捕获时间较短短。另外，由于不需要偏振片(polarizer)，非极化的 LED 球泡灯设置也比较简单。

通过这两种方法，研究人员采集到超过 200 个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究人员将收集到的图像引入一个标准拓扑结构中，建立人脸数据库。

研究人员将这一数据库命名为 RealFaceDB，根据论文，与同类人脸数据库相比，RealFaceDB 规模为最大。