从自然场景图像中学习可动画的三维人脸模型

摘要: 虽然目前的基于单幅图像的三维人脸重建方法可以恢复精细的几何细节，但是这些方法具有局限性。某些方法生成的人脸无法真实地设置动画，因为它们没有对皱纹如何随表情变化进行建模。其他方法是在高质量的面部扫描上训练的，并且不能很好地推广到自然场景的图像。报告中使用的方法，能回归三维人脸形状和动画的细节，这些细节是特定于个人的但能随着表情的变化。该方法的模型经过训练，可以从由特定于人的细节参数和通用表情参数组成的低维潜在表示中鲁棒地生成UV位移图，而回归量则经过训练，可以从单个图像中预测细节，形状，表情，姿势和照明参数。为了实现这一点，该方法引入了一种新的细节一致性损失，从依赖于表情的皱纹中分离出特定于人的细节。这种解缠使得能够通过控制表情参数，同时保持个人特定细节不变，来合成逼真的个人特定皱纹。该方法是从自然场景得图像中学习的，没有配对的三维数据监督。