HunyuanVideo-Foley 完整拆解视频音效生成的多模态扩散架构如何运转【免费下载链接】HunyuanVideo-Foley项目地址: https://ai.gitcode.com/tencent_hunyuan/HunyuanVideo-FoleyHunyuanVideo-Foley 是腾讯混元开源的视频音效生成模型输入视频和一句文字描述直接输出与画面节奏对齐的 48kHz 高保真音效。本文带你走一遍它从输入到输出的完整数据流读完你能读懂它的配置与权重文件并建立起整个推理管线的心理模型。一、没有 Foley 组时的三个困境一段剪好的短视频缺音效传统解法是请 Foley 团队进棚实录道具、话筒、多轨返录周期以周计。更麻烦的是对齐。脚步声早了 100 毫秒观众不一定说出哪里不对但代入感没了。人工在剪辑软件里逐帧拖波形是纯体力活。对个人创作者和小团队专业配音的成本基本不可承受。HunyuanVideo-Foley 的定位就在这视频加一句描述进来节奏跟画面走的音效直接出去。二、一张图看懂全局数据流 模型内部是一条三路条件汇入一条去噪主线的管线。视频帧先过预训练视觉编码器压成 768 维特征文本提示走文本编码器另有一条 Synchformer 专门提取帧级视听对齐特征。三路条件汇入 DiT 主干网络前半是多模态块让音频与视觉 token 互相注意后半是单模态块只精炼音频流。终点是音频 VAE 的潜变量再解码回 48kHz 波形。训练侧也有一条数据流水线从海量文本-视频-音频三元组里筛掉不适配内容保证声音对应画面的映射学得干净。三、一次生成的完整生命周期3.1 输入如何变成三路条件推理时先抽帧配置里视觉帧数为 64再分别过三个编码器。若没有视频一个可学习的空视觉特征顶替视觉流模型退化为纯文本生成音效这是enable_learnable_empty_visual_feat配置项的作用。3.2 潜空间里加噪起步音频由 VAE 压缩成 128 维潜变量帧率 50。生成在这条压缩空间里进行像先写简谱、最后才录音。潜变量加上高斯噪声Euler 求解器沿 flow matching 直线路径逐步去噪预测目标是速度场。3.3 两档 Transformer 如何交替去噪XXL 版的顺序是 18 个多模态块接 36 个单模态块好比初审桌先对着视频听音频再交给声音专员单独精修。多模态块里视觉与音频做交叉注意单模态块把算力集中给音频流其中 8 层音频 SSL 编码器提供表征对齐防止生成的音效偏离真实音频分布。3.4 逐帧对齐信号何时介入Synchformer 输出的 768 维对齐特征经门控调制注入音频流把每个声音的落点锚到对应画面上。脚步声踩在落地帧上这种细节来源就在这里。3.5 潜变量如何还原成 48kHz 音频最后一步去噪结束潜变量交给 VAE 解码器从 128 维展开成完整波形48kHz 采样率直接可用。3.6 结果如何落盘单条用--single_video加--single_prompt批量用--csv_path喂入清单gradio_app.py则提供一个网页交互入口。四、读源码从哪下手这个仓库权重与配置先行建议按这个顺序读config.yaml先读它。XXL 的块数1836、隐藏层宽 1536、三路条件维度、求解器选型全在这是理解全模型的坐标系。config_xl.yaml第二读。与 XXL 对比一眼看出小型化改了什么块数缩到 1224隐藏宽降到 1408。三个权重文件hunyuanvideo_foley.pth 是主干去噪网络vae_128d_48k.pth 是 48kHz 音频 VAEsynchformer_state_dict.pth 是对齐模块。文件名本身就是模型切分方式。configuration.json最后扫一眼只是框架与任务声明。README 中描述的推理入口为 infer.py 与 gradio_app.py配置改动只需动 yaml不动代码。五、最快上手与调优最少步骤三步跑通git clone https://gitcode.com/tencent_hunyuan/HunyuanVideo-Foley cd HunyuanVideo-Foley pip install -r requirements.txt权重从 ModelScope 或 Hugging Face 拉取放入模型目录然后python3 infer.py --model_path . --single_video demo.mp4 \ --single_prompt 雨声、脚步声与关门声 --output_dir out调优三条按现象找原因显存爆了XXL 隐藏宽 1536、共 54 个块单卡压力大。换成 config_xl.yaml 的 XL 版它随 2025 年 9 月的发布附带了 offload 推理支持就是为降显存设计的。音效内容偏离意图模型在视觉与文本之间做平衡想突出的声音没写进提示词音频流就会偏向画面。把要的声音直接写进 prompt比事后筛选有效。批量跑得太慢逐条循环调用会重复加载与预处理。用--csv_path一次喂清单入口层统一调度。六、速查表部件对应文件一句话作用XXL 主配置config.yaml定义块数、隐藏宽、条件维度与 flow matching 求解器XL 主配置config_xl.yaml显存受限场景的小型化变体DiT 主干权重hunyuanvideo_foley.pth多模态去噪主网络音频 VAEvae_128d_48k.pth128 维潜变量与 48kHz 波形互转帧级对齐模块synchformer_state_dict.pth提供声音落点与画面对齐的特征框架声明configuration.json声明 PyTorch 框架与音频生成任务读配置先建立坐标看权重知道切分再顺着三路条件到 VAE 解码走一遍这个模型的运转逻辑就完整了。【免费下载链接】HunyuanVideo-Foley项目地址: https://ai.gitcode.com/tencent_hunyuan/HunyuanVideo-Foley创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 HunyuanVideo-Foley 完整拆解：视频音效生成的多模态扩散架构如何运转
HunyuanVideo-Foley 完整拆解视频音效生成的多模态扩散架构如何运转【免费下载链接】HunyuanVideo-Foley项目地址: https://ai.gitcode.com/tencent_hunyuan/HunyuanVideo-FoleyHunyuanVideo-Foley 是腾讯混元开源的视频音效生成模型输入视频和一句文字描述直接输出与画面节奏对齐的 48kHz 高保真音效。本文带你走一遍它从输入到输出的完整数据流读完你能读懂它的配置与权重文件并建立起整个推理管线的心理模型。一、没有 Foley 组时的三个困境一段剪好的短视频缺音效传统解法是请 Foley 团队进棚实录道具、话筒、多轨返录周期以周计。更麻烦的是对齐。脚步声早了 100 毫秒观众不一定说出哪里不对但代入感没了。人工在剪辑软件里逐帧拖波形是纯体力活。对个人创作者和小团队专业配音的成本基本不可承受。HunyuanVideo-Foley 的定位就在这视频加一句描述进来节奏跟画面走的音效直接出去。二、一张图看懂全局数据流 模型内部是一条三路条件汇入一条去噪主线的管线。视频帧先过预训练视觉编码器压成 768 维特征文本提示走文本编码器另有一条 Synchformer 专门提取帧级视听对齐特征。三路条件汇入 DiT 主干网络前半是多模态块让音频与视觉 token 互相注意后半是单模态块只精炼音频流。终点是音频 VAE 的潜变量再解码回 48kHz 波形。训练侧也有一条数据流水线从海量文本-视频-音频三元组里筛掉不适配内容保证声音对应画面的映射学得干净。三、一次生成的完整生命周期3.1 输入如何变成三路条件推理时先抽帧配置里视觉帧数为 64再分别过三个编码器。若没有视频一个可学习的空视觉特征顶替视觉流模型退化为纯文本生成音效这是enable_learnable_empty_visual_feat配置项的作用。3.2 潜空间里加噪起步音频由 VAE 压缩成 128 维潜变量帧率 50。生成在这条压缩空间里进行像先写简谱、最后才录音。潜变量加上高斯噪声Euler 求解器沿 flow matching 直线路径逐步去噪预测目标是速度场。3.3 两档 Transformer 如何交替去噪XXL 版的顺序是 18 个多模态块接 36 个单模态块好比初审桌先对着视频听音频再交给声音专员单独精修。多模态块里视觉与音频做交叉注意单模态块把算力集中给音频流其中 8 层音频 SSL 编码器提供表征对齐防止生成的音效偏离真实音频分布。3.4 逐帧对齐信号何时介入Synchformer 输出的 768 维对齐特征经门控调制注入音频流把每个声音的落点锚到对应画面上。脚步声踩在落地帧上这种细节来源就在这里。3.5 潜变量如何还原成 48kHz 音频最后一步去噪结束潜变量交给 VAE 解码器从 128 维展开成完整波形48kHz 采样率直接可用。3.6 结果如何落盘单条用--single_video加--single_prompt批量用--csv_path喂入清单gradio_app.py则提供一个网页交互入口。四、读源码从哪下手这个仓库权重与配置先行建议按这个顺序读config.yaml先读它。XXL 的块数1836、隐藏层宽 1536、三路条件维度、求解器选型全在这是理解全模型的坐标系。config_xl.yaml第二读。与 XXL 对比一眼看出小型化改了什么块数缩到 1224隐藏宽降到 1408。三个权重文件hunyuanvideo_foley.pth 是主干去噪网络vae_128d_48k.pth 是 48kHz 音频 VAEsynchformer_state_dict.pth 是对齐模块。文件名本身就是模型切分方式。configuration.json最后扫一眼只是框架与任务声明。README 中描述的推理入口为 infer.py 与 gradio_app.py配置改动只需动 yaml不动代码。五、最快上手与调优最少步骤三步跑通git clone https://gitcode.com/tencent_hunyuan/HunyuanVideo-Foley cd HunyuanVideo-Foley pip install -r requirements.txt权重从 ModelScope 或 Hugging Face 拉取放入模型目录然后python3 infer.py --model_path . --single_video demo.mp4 \ --single_prompt 雨声、脚步声与关门声 --output_dir out调优三条按现象找原因显存爆了XXL 隐藏宽 1536、共 54 个块单卡压力大。换成 config_xl.yaml 的 XL 版它随 2025 年 9 月的发布附带了 offload 推理支持就是为降显存设计的。音效内容偏离意图模型在视觉与文本之间做平衡想突出的声音没写进提示词音频流就会偏向画面。把要的声音直接写进 prompt比事后筛选有效。批量跑得太慢逐条循环调用会重复加载与预处理。用--csv_path一次喂清单入口层统一调度。六、速查表部件对应文件一句话作用XXL 主配置config.yaml定义块数、隐藏宽、条件维度与 flow matching 求解器XL 主配置config_xl.yaml显存受限场景的小型化变体DiT 主干权重hunyuanvideo_foley.pth多模态去噪主网络音频 VAEvae_128d_48k.pth128 维潜变量与 48kHz 波形互转帧级对齐模块synchformer_state_dict.pth提供声音落点与画面对齐的特征框架声明configuration.json声明 PyTorch 框架与音频生成任务读配置先建立坐标看权重知道切分再顺着三路条件到 VAE 解码走一遍这个模型的运转逻辑就完整了。【免费下载链接】HunyuanVideo-Foley项目地址: https://ai.gitcode.com/tencent_hunyuan/HunyuanVideo-Foley创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考