3d人体模型 差点以为是本人 这个3D人体生成模型厉害了 还能自己改POSE

丰富的色彩来自奥菲寺

量子报道| QbitAI，微信官方账号

很多3D人体模型功能强大，但是裸奔是不可避免的。

例如，要创建一个真实的人类“化身”模型，衣服和头发是不可或缺的。

然而，这些元素的精确三维数据是稀缺和难以获得的。

三星AI中心等团队的技术人员一直在进行这项研究，最终他们开发了这样一个模型:

生成的3D人，穿着他们原来的衣服和发型，也毫无保留地呈现出来。

乍一看，“像个真人”。

更有甚者，模型可以“举一反三”，不用模型演示就能摆出各种姿势！

效果是这样的:

该模型名为StylePeople。

让我们看看发生了什么！

神经装扮模型

事实上，不仅仅是“裸奔”，很多3D人体模型还是“死板”的:无论模型摆出什么姿势，模型都会跟着摆姿势。

就像之前一样，通过隐式函数生成的3D人体模型可以高度还原模型的着装和发型，但人物的姿势仍然不够灵活，只能从原模型的几个特定视角生成。

赞美诗也是团队的研究成果

因此，在为3D人体模型还原服装的颜色、褶皱和发型的同时，也要保证人物的姿势能够“举一反三”。

因此，研究人员采用多边形实体网格建模与神经纹理相结合的方法。

多边形网格负责控制和建模人体的粗糙几何姿态，而神经渲染负责添加衣服和头发。

首先，他们设计了一个神经修整模型，结合了可变形网格建模和神经渲染，如下图所示。

最左边的一列表示可视化的前三个主成分分析组件。

第2列和第3列是叠加在由SMPL-X建模的人体网格上的“人类化身”的纹理..

第四列和第五列是使用渲染网络进行光栅化的结果。

能优雅地处理宽松的衣服、长发和复杂的穿衣结构！

然后，基于上述神经装扮模型，研究人员创建了一个可以生成“芬布迪”的3D人体模型。

最后一代架构是StyleGANv2和神经敷料的结合。

在StyleGAN中，神经纹理由反向传播算法生成，然后叠加在SMPL-X网格上，由神经渲染器渲染。

在对抗性学习中，鉴别器将每一对图像都视为同一个人。

提高从视频和少量图像生成三维人体模型的技术水平

在神经敷料的验证中，研究人员首先评估了基于视频材料的三维模型生成结果。

效果是文章开头展示的图像，左边是样本源帧，其他图像是左边视频人物的“替身”。在简单的增强现实程序的背景下，它呈现出各种模型以前没有呈现过的姿态。

然后，评估基于小样本图像材料的神经修整效果。

研究人员使用只有两个人的人物快照数据集，将他们的神经梳理方法与其他方法进行比较。

衡量生成模型质量的指标包括LPIPS、SSIM、FID和IS。

结果表明，他们的方法在各项指标上都有优势，

除了IS之外，它的影响很小，因为它与视觉质量的相关性最小。

最后，团队表示，这种模型的生成效果仍然受限于当前样本数据的大小和质量，未来工作的重点是提高这种模型的数据利用率。

感兴趣的同学可以随时关注团队的研究进展。