Audio2Photoreal-音频生成虚拟人物形象

Audio2Photoreal简介

Audio2Photoreal是一项由Meta AI推出的前沿技术，专注于将音频信号转换为逼真的全身虚拟人物图像。它能够分析多个人物的语音对话，并相应地生成各种逼真的面部表情、身体运动和手势动作。这一技术在还原对话者的语音和相应的身体语言方面极具潜力，可用于制作虚拟现实、游戏角色和其他多媒体应用。

工作原理：

Audio2Photoreal利用先进的技术手段，将动态动作和表现力融入到虚拟人物的生成过程中。主要步骤包括：

1. 数据集捕获： 收集了一批内容丰富的双人对话数据集，为虚拟人物的逼真重建奠定了基础。

2. 运动模型构建： 制作了融合了面部运动模式、引导性姿势预测器和身体动作模式的复杂运动模型。

3. 面部运动生成： 通过预训练的唇部运动回归器对音频进行处理，提取关键的面部特征，再由条件扩散模型依照这些特征生成面部运动。

4. 身体运动生成： 音频信号被转化为每秒映射1帧的向量量化（VQ）引导姿势，然后音频与这些姿势一同输入扩散模型，以生成细腻的身体运动，速率为每秒30帧。

5. 虚拟人物渲染： 结合生成的面部表情和身体动作，并通过训练有素的虚拟人物渲染器进行渲染，从而产出高质量的逼真虚拟形象。

6. 结果展示： 最终结果便是根据音频创建的完整的全身虚拟人物形象，准确地再现了对话内容中的微妙表情和身体语言。

资源链接：

– 项目地址： https://github.com/facebookresearch/audio2photoreal/

– 论文地址： https://arxiv.org/pdf/2401.01885.pdf

Audio2Photoreal的发布标志着将声音转换为图像，尤其是动态且贴近真实人物动作的图像转换技术向前迈进了一大步。这为后续的多媒体内容开发和创新应用提供了新的可能性。研究人员和开发者能通过上述提供的资源链接进一步探究此技术，并能尝试实施非商业性的实验和应用。