NAniTalker开源项目 – 生成生动说话面部动画的开源工具
AniTalker是一个开源项目,通过身份解耦的面部动作编码技术,生成生动多样的说话面部动画。它能够从单张图片和音频中生成动态视频,支持生成超过3分钟的超长视频,并且能够匹配表情和头部动作。AniTalker采用通用的运动表示法捕捉复杂面部动态,利用自监督学习策略实现精确的运动描述,并通过扩散模型生成多样且可控的面部动画。项目分为两个阶段,第一阶段聚焦于动作编码器和渲染模块的训练,第二阶段基于diffae和espnet进行扩散训练。AniTalker提供了一个demo,用户可以使用特定的音频输入和图片,生成对应的动画效果,并鼓励社区成员进行进一步的开发和贡献。