ComfyUI 音频生成实战8 步采样出 60 秒音轨【免费下载链接】ComfyUIThe most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI想让一句提示词直接变成 60 秒可发布的音轨ComfyUI 的音频生成链路已经闭环Stable Audio 3 和 ACE-Step 两条文生音路线外加一整套剪辑、混音、导出节点全部本地运行。下文先带你 30 秒跑通最小示例再按 6 步搭好完整工作流。30 秒跑通 ComfyUI 音频生成的最小示例先别研究原理把服务跑起来。三条命令装完就能启动git clone https://gitcode.com/GitHub_Trending/co/ComfyUI cd ComfyUI pip install -r requirements.txt python main.py这段做了什么克隆仓库、装依赖、启动 Web 服务。音频功能依赖的torchaudio和av如果启动时报缺手动pip install一下即可不需要任何第三方插件。然后浏览器打开本地服务加载仓库自带的蓝图blueprints/Audio Generation (Stable Audio 3 Medium).json克隆下来就有把stable_audio_3_medium.safetensors放进models/checkpoints/提示词里写一句雨声落在铁皮屋顶上点击 queue prompt。8 步采样等几秒PreviewAudio 节点里就能直接试听——这就是 ComfyUI 音频生成的最短路径。拆清 ComfyUI 音频生成链路提示词如何变成波形把整条链路按输入→处理→输出看只有三段。输入你的文字提示和时长。提示词经文本编码器转成条件向量时长由ConditioningStableAudio节点写入 conditioningseconds_start从 0 开始seconds_total默认 47范围 0–1000。处理EmptyLatentAudio按秒数生成一块空白潜空间KSampler在这块潜空间上从噪声里雕出内容。你可以把它理解成图像扩散是在像素潜空间里画画音频扩散是在频谱潜空间里调音。输出VAEDecodeAudio把潜空间还原成 44.1kHz 波形并做自动归一化标准差×5、下限 1.0所以导出文件不会忽大忽小。仓库里和音频相关的节点分三条线容易混路线输入关键节点适合什么Stable Audio 3任意文字提示EmptyLatentAudioKSampler音效、环境音、短音乐ACE-Step 1.5音乐描述风格/歌词EmptyAceStepLatentAudioTextEncodeAceStepAudio有结构感的歌曲片段音频编码器现成音频文件Load Audio EncoderEncode Audio把音频转成特征喂给下游模型怎么选做从 0 生成声音选 Stable Audio 3这是蓝图和文档的主力路线做带旋律结构的音乐看 ACE-Step第三条线不产声音——comfy/audio_encoders/里的 Wav2Vec2base/large 按embed_dim自动识别和 Whisper Large V3 统一重采样到 16kHz输出encoded_audio特征向量用途是给视频生成等任务提供音频参考条件。 关键提示音频编码器节点输出的是特征张量不是能听的声音接错了节点别急着怀疑模型。按 6 步搭好 Stable Audio 3 文生音工作流官方蓝图其实就是下面这条链手动搭一遍就全懂了装模型stable_audio_3_medium.safetensors放进models/checkpoints/CheckpointLoaderSimple一次出齐 model、clip、vae。编码文本CLIPTextEncode写提示词蓝图额外挂了TextGenerate节点用qwen3.5_2b把你的一句话先扩写成更专业的描述Enable_Reprompt开关可关。设时长ConditioningStableAudio的seconds_total填 47与下步一致。造潜空间EmptyLatentAudio的seconds同样填 47范围 1–1000batch_size1–4096。采样KSampler按蓝图取lcm采样器 simple调度、8 步、低 cfg、denoise1。解码导出VAEDecodeAudio→PreviewAudio试听 →SaveAudio出 wav换SaveAudioMP3/SaveAudioOpus直接出 mp3、opus。第 4 步的潜空间到底多大EmptyLatentAudio内部就是这个算法seconds 60 length round((seconds * 44100 / 2048) / 2) * 2 latent torch.zeros([1, 64, length]) # [batch, 64 通道, 帧数]这段代码做了什么按44100 采样率 ÷ 2048 下采样比把秒数折成帧数并取偶。算出来 60 秒约 1292 帧——每秒只有 21.5 帧这是长音频显存开销可控的原因。调参与排坑音长、爆音、显存提示词对了但声音被截断现象生成出来明显比设定短或后半段戛然而止。原因模型以为要生成多长只由ConditioningStableAudio的seconds_total决定潜空间多长由EmptyLatentAudio的seconds决定两个节点各管一半。解法两处填同一个值。潜空间偏短就截断偏长则尾部拖出噪声尾巴。输出是静音或一声爆音现象文件有但没内容或者只有开头一记啪。原因多半是潜空间类型不对——把图像用的空 latent 接到了音频链路KSampler 采出来的东西 VAE 解不成有效波形。解法确认 latent 来自EmptyLatentAudio或 ACE-Step 对应节点且 checkpoint 是音频版采样器、步数先照抄蓝图别同时改多个参数。长音频爆显存现象60 秒以上直接 OOM。原因帧数随秒数线性增长60 秒就是约 1292 帧潜变量解码时还要展开全尺寸波形。解法拆成多段生成后用AudioConcat拼接或改用VAEDecodeAudioTiled分块解码AudioMerge还能给成品垫一层环境底噪AudioAdjustVolume、AudioEqualizer3Band做最后的响度和频段修正。延伸与资源编码器加载与模型自动识别comfy/audio_encoders/audio_encoders.py全部音频节点空 latent、剪辑、混音、导出comfy_extras/nodes_audio.py音频编码器节点comfy_extras/nodes_audio_encoder.py官方蓝图blueprints/Audio Generation (Stable Audio 3 Medium).json相关论文《Stable Audio: a latent diffusion model for audio generation》潜扩散做音频生成的开山工作《wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations》无监督语音表征《Robust Speech Recognition via Large-Scale Weak Supervision》Whisper 原始论文如果你想继续深入下一步建议做两件事把TextGenerate扩写关开各跑一次同一提示词对比提示词工程对音色的影响再拿VAEEncodeAudio把一段真实录音编码回潜空间接KSampler低denoise做风格迁移——这就是音频版图生图ComfyUI 的潜空间抽象在这里完全通用。【免费下载链接】ComfyUIThe most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ComfyUI 音频生成实战：8 步采样出 60 秒音轨
ComfyUI 音频生成实战8 步采样出 60 秒音轨【免费下载链接】ComfyUIThe most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI想让一句提示词直接变成 60 秒可发布的音轨ComfyUI 的音频生成链路已经闭环Stable Audio 3 和 ACE-Step 两条文生音路线外加一整套剪辑、混音、导出节点全部本地运行。下文先带你 30 秒跑通最小示例再按 6 步搭好完整工作流。30 秒跑通 ComfyUI 音频生成的最小示例先别研究原理把服务跑起来。三条命令装完就能启动git clone https://gitcode.com/GitHub_Trending/co/ComfyUI cd ComfyUI pip install -r requirements.txt python main.py这段做了什么克隆仓库、装依赖、启动 Web 服务。音频功能依赖的torchaudio和av如果启动时报缺手动pip install一下即可不需要任何第三方插件。然后浏览器打开本地服务加载仓库自带的蓝图blueprints/Audio Generation (Stable Audio 3 Medium).json克隆下来就有把stable_audio_3_medium.safetensors放进models/checkpoints/提示词里写一句雨声落在铁皮屋顶上点击 queue prompt。8 步采样等几秒PreviewAudio 节点里就能直接试听——这就是 ComfyUI 音频生成的最短路径。拆清 ComfyUI 音频生成链路提示词如何变成波形把整条链路按输入→处理→输出看只有三段。输入你的文字提示和时长。提示词经文本编码器转成条件向量时长由ConditioningStableAudio节点写入 conditioningseconds_start从 0 开始seconds_total默认 47范围 0–1000。处理EmptyLatentAudio按秒数生成一块空白潜空间KSampler在这块潜空间上从噪声里雕出内容。你可以把它理解成图像扩散是在像素潜空间里画画音频扩散是在频谱潜空间里调音。输出VAEDecodeAudio把潜空间还原成 44.1kHz 波形并做自动归一化标准差×5、下限 1.0所以导出文件不会忽大忽小。仓库里和音频相关的节点分三条线容易混路线输入关键节点适合什么Stable Audio 3任意文字提示EmptyLatentAudioKSampler音效、环境音、短音乐ACE-Step 1.5音乐描述风格/歌词EmptyAceStepLatentAudioTextEncodeAceStepAudio有结构感的歌曲片段音频编码器现成音频文件Load Audio EncoderEncode Audio把音频转成特征喂给下游模型怎么选做从 0 生成声音选 Stable Audio 3这是蓝图和文档的主力路线做带旋律结构的音乐看 ACE-Step第三条线不产声音——comfy/audio_encoders/里的 Wav2Vec2base/large 按embed_dim自动识别和 Whisper Large V3 统一重采样到 16kHz输出encoded_audio特征向量用途是给视频生成等任务提供音频参考条件。 关键提示音频编码器节点输出的是特征张量不是能听的声音接错了节点别急着怀疑模型。按 6 步搭好 Stable Audio 3 文生音工作流官方蓝图其实就是下面这条链手动搭一遍就全懂了装模型stable_audio_3_medium.safetensors放进models/checkpoints/CheckpointLoaderSimple一次出齐 model、clip、vae。编码文本CLIPTextEncode写提示词蓝图额外挂了TextGenerate节点用qwen3.5_2b把你的一句话先扩写成更专业的描述Enable_Reprompt开关可关。设时长ConditioningStableAudio的seconds_total填 47与下步一致。造潜空间EmptyLatentAudio的seconds同样填 47范围 1–1000batch_size1–4096。采样KSampler按蓝图取lcm采样器 simple调度、8 步、低 cfg、denoise1。解码导出VAEDecodeAudio→PreviewAudio试听 →SaveAudio出 wav换SaveAudioMP3/SaveAudioOpus直接出 mp3、opus。第 4 步的潜空间到底多大EmptyLatentAudio内部就是这个算法seconds 60 length round((seconds * 44100 / 2048) / 2) * 2 latent torch.zeros([1, 64, length]) # [batch, 64 通道, 帧数]这段代码做了什么按44100 采样率 ÷ 2048 下采样比把秒数折成帧数并取偶。算出来 60 秒约 1292 帧——每秒只有 21.5 帧这是长音频显存开销可控的原因。调参与排坑音长、爆音、显存提示词对了但声音被截断现象生成出来明显比设定短或后半段戛然而止。原因模型以为要生成多长只由ConditioningStableAudio的seconds_total决定潜空间多长由EmptyLatentAudio的seconds决定两个节点各管一半。解法两处填同一个值。潜空间偏短就截断偏长则尾部拖出噪声尾巴。输出是静音或一声爆音现象文件有但没内容或者只有开头一记啪。原因多半是潜空间类型不对——把图像用的空 latent 接到了音频链路KSampler 采出来的东西 VAE 解不成有效波形。解法确认 latent 来自EmptyLatentAudio或 ACE-Step 对应节点且 checkpoint 是音频版采样器、步数先照抄蓝图别同时改多个参数。长音频爆显存现象60 秒以上直接 OOM。原因帧数随秒数线性增长60 秒就是约 1292 帧潜变量解码时还要展开全尺寸波形。解法拆成多段生成后用AudioConcat拼接或改用VAEDecodeAudioTiled分块解码AudioMerge还能给成品垫一层环境底噪AudioAdjustVolume、AudioEqualizer3Band做最后的响度和频段修正。延伸与资源编码器加载与模型自动识别comfy/audio_encoders/audio_encoders.py全部音频节点空 latent、剪辑、混音、导出comfy_extras/nodes_audio.py音频编码器节点comfy_extras/nodes_audio_encoder.py官方蓝图blueprints/Audio Generation (Stable Audio 3 Medium).json相关论文《Stable Audio: a latent diffusion model for audio generation》潜扩散做音频生成的开山工作《wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations》无监督语音表征《Robust Speech Recognition via Large-Scale Weak Supervision》Whisper 原始论文如果你想继续深入下一步建议做两件事把TextGenerate扩写关开各跑一次同一提示词对比提示词工程对音色的影响再拿VAEEncodeAudio把一段真实录音编码回潜空间接KSampler低denoise做风格迁移——这就是音频版图生图ComfyUI 的潜空间抽象在这里完全通用。【免费下载链接】ComfyUIThe most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考