Follow-Your-Emoji是一个创新的人像动画制作工具，由港科大、腾讯混元和清华大学通过共同研究，基于先进的扩散模型而开发。它使得将特定的表情或动作准确地应用到参考肖像上成为可能，同时保留了肖像的个性特征、动作的连贯性及画面的逼真度。该技术特别注重于捕捉视频中人物面部的细节，尤其是面部微妙的动态变化和瞳孔的动态，从而生成具有活力的新面部动画。
只需提供一张静态照片，Follow-Your-Emoji便可以将其转换成一段栩栩如生的面部动画。这项技术不仅能够捕捉并再现微妙的表情变动，还能应用单一驱动视频或动作序列驱动多个不同参考头像产生相同动作和表情变化的动画，或反之，使用单一参考头像和多个不同的驱动视频产出多段展示不同动作和表情变化的动画。
Follow-Your-Emoji的功能特色包括：
– 身份保持：在生成动画的过程中，确保参考头像的个性特征得到保留，让形象保持一致。
– 表情丰富：能够创造出各种细腻或夸张的表情动画，无论是微小的眼部动作还是明显的表情变化都能轻松实现。
– 风格多元：支持生成多种风格的头像动画，包括但不限于卡通、真人、雕塑或动物风格等。
– 动画持久稳定：采用渐进式生成策略，确保长时间动画的稳定性和一致性。
技术创新点：
Follow-Your-Emoji解决动画生成中身份特征保持和目标表情传递的主要挑战，通过引入两种关键技术来实现：
1. 显式动作信号：该技术通过表情感知的关键点引导动画生成过程，确保参考头像与目标动作间的精准对齐，并增强了夸张表情（如瞳孔的大幅运动）的解析能力，同时避免身份信息泄露。
2. 面部细粒度损失函数：通过采用表情和面部掩码来提升对微妙表情变化的捕捉能力和参考头像外观重构的精度。
应用场景：
Follow-Your-Emoji的出现，极大地促进了人像动画制作的便利性和创新性，特别适合需要执行人像动画制作的专业人士和爱好者，如动画设计师、视频制作人员、游戏开发者等。通过这个工具，用户可以更加轻松地创造出富有创意和活力的动画作品。
