A survey on multimodal information-guided 3D human motion generation

作者：Baoquan Zhao, Yiyu Fu, Zhuo Su, Ruomei Wang, Chenlei Lyu, Xiaonan Luo · 发表于：Journal of Image and Graphics · 年份：2024 · DOI：10.11834/jig.230626 · 被引用次数：2 · 研究领域：Human Pose and Action Recognition、Human Motion and Animation、Hand Gesture Recognition Systems

基于多模态信息的三维数字人运动生成技术旨在通过文本、音频、图像和视频等数据实现特定输入条件下的人体运动生成。这项技术在电影、动画、游戏制作和元宇宙等领域具有重要的应用价值和广泛的经济社会效益，是近年来计算机图形学和计算机视觉等领域研究的热点问题之一。然而，基于多模态信息的三维数字人运动生成面临着诸多挑战，包括跨模态信息的表征和融合困难、高质量数据集缺乏、生成的运动质量较差（如抖动、穿模和脚部滑动等）以及生成效率低等问题。虽然近年来研究者们提出了各式各样的解决方案来应对上述挑战，但如何根据不同模态数据的特点实现高效、高质量的三维数字人运动生成仍然是一个开放性问题。本文以数字人运动生成所采用的模型架构为分类标准，将现有的主流方法分为基于生成对抗网络（generative adversarial network，GAN）的方法、基于自编码器（autoencoder，AE）的方法、基于变分自编码器（variational autoencoder，VAE）的方法以及基于扩散模型的方法，总结并形成了一种数字人运动生成通用框架。本文还介绍了该领域常见的参数化人体模型、数据集以及评估指标。对于一些具有代表性的工作，本文在一些常用数据集上进行了对比实验，评估这些方法的性能表现。最后综合现有的数据集、算法和代表性研究，总结了该领域的问题和挑战，探讨了完善数据集、优化运动质量和多样性、融合跨模态信息和提高生成效率等潜在的研究方向。