2025 最新 AniPortrait 教程：腾讯开源 AI 框架用音频图像打造动态肖像动画

1. 多模态输入支持：除了音频 + 图像的组合，还能通过提供视频实现面部重演，比如用一段视频驱动另一个人的面部表情，这在数字人克隆、影视特效等场景很实用。
2. 中间表征可编辑性：生成过程中会产生 3D 面部表示，用户可以直接修改这些中间数据，比如调整表情强度、头部角度，甚至替换面部 ID，实现更灵活的动画控制。
3. 高泛化能力：模型在训练时使用了 VFHQ 和 CelebV-HQ 等大规模人脸视频数据集，对不同种族、年龄、表情的肖像都能较好适配，不会出现明显的 “失真感”。
4. 轻量级设计：虽然采用了复杂的扩散模型，但通过优化网络结构，在保证效果的同时降低了计算量。官方测试显示，用 A100 GPU 生成一段 59 秒的视频仅需 1 小时左右。

• 硬件：NVIDIA 显卡（推荐 16GB 显存以上），支持 CUDA 11.7；至少 16GB 内存
• 软件：Python 3.10+，PyTorch 2.0.1 及相关库，CUDA 和 cuDNN 驱动

1. 创建虚拟环境：

conda create -n aniportrait python=3.10
conda activate aniportrait

2. 安装依赖：

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r requirements.txt

3. 下载预训练权重：
   访问 GitHub 仓库（https://github.com/Zejun-Yang/AniPortrait），将 denoising_unet.pth、reference_unet.pth 等权重文件下载到指定目录。注意要根据配置文件中的路径进行调整，避免出现 “文件未找到” 错误。
   
   
4. 配置环境变量：
   在系统环境变量中添加 CUDA 路径，比如：
   
   

export CUDA_HOME=/usr/local/cuda-11.7
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

1. 准备素材

• 音频文件：建议使用 WAV 格式，采样率 16kHz，时长控制在 1-5 分钟。音频内容最好包含清晰的语音，背景噪音过大会影响口型同步效果。
• 参考图像：选择正面、光照均匀的人像照片，分辨率不低于 512x512。如果图像中人物头部角度较大，生成的动画可能会出现 “转头不自然” 的问题。

2. 运行推理命令

python -m scripts.audio2vid --config ./configs/prompts/animation_audio.yaml -W  -H 

• --config：指定配置文件路径，这里使用官方提供的音频驱动配置
• -W和-H：输出视频的分辨率，默认 512x512。如果显卡显存充足，可以尝试 768x768，但生成时间会增加 30% 以上
• -L：生成的帧数，默认 300 帧（10 秒），可根据音频长度调整

3. 结果查看

• ref.mp4：参考图像的动态展示（带关键点叠加）
• pose.mp4：仅显示面部关键点的运动轨迹
• result.mp4：最终的动态肖像动画

1. 数字人内容创作：自媒体博主可以用自己的照片生成虚拟形象，批量制作口播视频，解决真人出镜的时间和成本问题。
2. 教育领域：将历史人物、文学角色的肖像转化为动画，配合语音讲解，让教学内容更生动。比如让孔子 “讲述”《论语》，李白 “朗诵” 唐诗。
3. 游戏 NPC 互动：在开放世界游戏中，通过玩家语音输入实时驱动 NPC 的面部表情，提升沉浸式体验。
4. 影视特效辅助：快速生成角色的 “口型同步” 动画，减少传统动画师的工作量。尤其是在需要修改台词的情况下，重新生成比手工调整更高效。
5. 心理咨询：通过分析用户语音的情感，生成对应的虚拟心理咨询师表情，增强共情效果。

1. 口型对不上音频

• 原因：音频中存在方言、语速过快，或者模型对某些发音（如爆破音）识别不准确。
• 解决方法：
  • 用音频编辑工具（如 Audacity）手动标注关键发音点
  • 在配置文件中调整audio2mesh模块的参数，比如增加phoneme_threshold值
  • 尝试使用更长的音频片段进行训练，让模型更好地学习特定发音模式
  
  

2. 动画闪烁或卡顿

• 原因：扩散模型在生成过程中可能引入时序不一致问题，尤其是纯色背景下更明显。
• 解决方法：
  • 在生成命令中添加--free_noise参数，减少随机噪声的影响
  • 用 FFmpeg 进行后处理：
  
  
  bash

  ffmpeg -i input.mp4 -filter:v "tmedian=3" output.mp4
  
  
  
  这个命令会应用时域中值滤波，有效减少闪烁。
  
  

3. 显存不足

• 原因：高分辨率或长时间视频生成会占用大量显存。
• 解决方法：
  • 降低输出分辨率（如改为 256x256）
  • 分批次生成视频，再用剪辑软件合并
  • 升级显卡驱动到最新版本，或者尝试用 CPU 模式运行（但速度会很慢）