NVIDIA NemotronLabs VoiceChat-11B 保姆级实战全双工语音对话与工具调用系统一步到位【免费下载链接】NVIDIA-NemotronLabs-VoiceChat-11B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B你是否经历过这样的尴尬对着语音助手说话要等它把整句听完才回复它回答到一半你想打断却被系统无视想让助手帮你查天气、查股价却要额外串联一整套工具编排代码。NVIDIA NemotronLabs VoiceChat-11B 正是为解决这些问题而生的开源全双工语音对话模型——它能在一条流水线里同时完成流式语音理解和语音生成并原生支持工具调用把听、说、用工具三件事整合进同一个 11B 模型。本文不会堆砌术语而是像带读代码一样带你从环境搭建开始3 分钟跑通第一个 Demo再深入工具调用协议、交互式部署和已知避坑点最后用官方基准数据帮你判断它是否适合你的场景。为什么你的语音助手总在假对话级联架构的三重痛点先回顾一下大多数语音助手的传统实现方式你就能明白 VoiceChat-11B 解决了什么。经典的级联方案是ASR语音识别→ LLM大模型理解→ TTS语音合成三段式流水线先把你的语音转成文字ASR再把文字喂给大模型生成回答LLM最后把回答文字合成为语音播出来TTS。这套方案有三个显而易见的短板延迟叠加每一段处理都要等待上一段的完整输出端到端响应通常以秒计对话感生硬打断失效助手正在说话时你很难插嘴让它停下来因为它根本没有边输出边听的能力工具调用割裂想让助手帮你执行天气查询、股票报价这类操作你还要自己维护一套工具调度的外部代码与对话流程完全脱节。而 NVIDIA NemotronLabs VoiceChat-11B 采用统一端到端全双工架构一个模型同时做流式语音理解与语音生成无需在多个模型或 API 之间切换从而把轮次切换延迟压到毫秒级。更难得的是它是首个支持工具调用的开源全双工模型——在保持自然对话节奏的同时可以随时触发工具调用让语音助手真正有手有脚。3 分钟跑通 Demo环境准备与最小推理示例先别急着看复杂原理我们把第一个语音对话 Demo 跑起来。整个过程分为三步准备环境、下载模型、执行离线推理。步骤一克隆仓库并安装依赖首先把模型仓库克隆到本地git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B离线推理脚本需要配套的 Speech 推理工程nemotron-labs-voicechat分支。把该分支克隆到本地后在仓库根目录设置环境变量# 将 你的 Speech 仓库目录 替换为实际克隆路径 cd 你的 Speech 仓库目录 git switch nemotron-labs-voicechat export NEMO_DIR$(pwd)接下来用 conda 创建干净的 Python 3.12 环境并安装依赖conda create -y -n voicechat python3.12 conda activate voicechat pip install torch2.10.0 torchvision0.25.0 torchaudio2.10.0 pip install -e .[all] pip uninstall -y nvidia-resiliency-ext pip install transformers4.56.0 tokenizers0.22.0 lhotse1.32.2 \ huggingface-hub0.34.4 hf-xet1.1.9 torchcodec0.10.0 \ torch_audiomentations jinja2 pip install ninja packaging wheel einops pip install --no-build-isolation --no-deps causal-conv1d1.6.2.post1 mamba-ssm2.3.2.post1 依赖版本是经过验证的固定组合尤其是causal-conv1d和mamba-ssm需要用--no-build-isolation --no-deps方式安装直接 pip 安装容易踩版本坑。硬件要求NVIDIA GPU官方推荐 A100、H100、H200、B100、B200 或 RTX-6000操作系统为 Linux推理引擎为 vLLM。步骤二下载模型 checkpoint使用 Hugging Face CLI 下载模型权重到本地目录hf download nvidia/NVIDIA-NemotronLabs-VoiceChat-11B \ --local-dir /path/to/checkpoint步骤三运行最小离线示例激活环境并执行通用对话推理脚本conda activate voicechat export NEMO_DIR/path/to/Speech python $NEMO_DIR/examples/speechlm2/offline_voicechat_infer.py \ --checkpoint /path/to/checkpoint \ --wav $NEMO_DIR/examples/speechlm2/sample_audio/sample_general.wav \ --output-dir /path/to/output运行结束后模型会基于输入的语音生成对应的回复语音和文本。如果你想用自己的音频文件记得在音频尾部预留足够的静音段给模型留出响应时间。至此第一个语音到语音speech-to-speechDemo 已经跑通。接下来我们拆解一下这个模型到底厉害在哪里。11B 统一架构拆解一条流水线如何同时完成听、说、调用级联架构 vs 统一全双工架构把两种方案放在一起对比差异一目了然对比维度传统级联ASR→LLM→TTSVoiceChat-11B 统一架构模型数量多个模型组合单个 11B 模型端到端延迟秒级约 450ms 轮次切换打断处理通常不支持支持响应延迟约 480ms工具调用需外部编排独立输出通道原生支持部署复杂度多服务协调单一模型、单一容器架构四大件VoiceChat-11B 采用混合 Mamba/Transformer 架构核心组件如下Fast Conformer 语音编码器来自 Nemotron-Speech-Streaming-En-0.6b负责把输入的 16kHz 音频流式编码为音频 tokenNemotron Nano v2 LLM 主干9B 参数的推理大脑基于音频 token 预测文本 tokenNVIDIA TTS 解码器与编解码器把文本 token 转换为语音编码最终生成 22.05kHz 的智能体语音独立工具调用输出通道与文本/语音通道并行专门负责预测TOOLCALL脚本。模型档案速查属性值参数量11B输入文本提示词 音频用户语音16kHz输出智能体文本 语音 用户转写文本22.05kHz运行时引擎vLLM开源许可OpenMDW 1.1训练语料约 55 万小时音频真实语音 合成语音混合一句话概括架构思路音频进、音频出工具脚本走侧信道。正因为工具调用走独立输出通道模型才能在正常说话和调用工具之间无缝切换不会打断对话的自然节奏。工具调用实战从协议格式到流式部署这是本文的核心章节。VoiceChat-11B 的工具调用能力可以拆成三部分理解协议格式、内置工具、触发逻辑。第一步看懂工具调用协议格式模型通过两个特殊标记与外部工具交互# 模型发起工具调用 TOOLCALL[{name: tool_name, arguments: {key: value}}]/TOOLCALL # 外部工具返回结果 TOOL_RESPONSE[{tool_response}]/TOOL_RESPONSE一个实际的调用示例是这样的TOOLCALL[{name: generate_random_number, arguments: {min: 1, max: 50}}]/TOOLCALL第二步了解内置默认工具集模型默认提供了三个工具你可以直接开箱测试工具名功能参数get_weather查询城市天气city必填城市名get_stock_price查询股票价格symbol必填股票代码get_top_news获取今日头条新闻topic可选business、technology、science 等第三步离线函数调用示例离线模式不会真正执行外部工具而是用--api-response-json指向一个预写好的工具响应文件。你只需要保证 JSON 中的tool_name与可用工具匹配、response为 ASCII 字符且适合 TTS 朗读即可。python $NEMO_DIR/examples/speechlm2/offline_voicechat_fc_infer.py \ --checkpoint /path/to/checkpoint \ --wav $NEMO_DIR/examples/speechlm2/sample_audio/sample_fc.wav \ --api-response-json $NEMO_DIR/examples/speechlm2/function_calling/random_number_response.json \ --output-dir /path/to/output运行后输出目录的 JSON 文件里就是模型预测出的函数调用。预写响应文件可参考examples/speechlm2/function_calling/random_number_response.json模板语法见同目录下的template.jinja。第四步交互式流式部署实时语音对话如果你要做的是真刀真枪的实时对话推荐使用 NVIDIA 优化的推理容器。它把模型与 CUDA、Triton、vLLM 整套推理栈打包在一起对外暴露双向 WebSocket 接口天然支持函数调用。完整的部署文档位于 Speech 仓库nemotron-labs-voicechat分支的voicechat_realtime_instructions/目录下按顺序阅读prerequisites.md硬件、软件与驱动要求generate-model-repo.md从本地 NeMo checkpoint 构建 Triton 模型仓库deploy.md启动容器并开始语音对话api-reference.mdWebSocket 与 HTTP 接口参考第五步系统提示与工具触发逻辑模型使用 Jinja 模板构建系统提示把可用工具与调用协议附加到系统消息之后。默认系统提示定义了一套清晰的决策流程请求是否匹配某个可用工具如果是必须调用该工具即使你知道答案是否是一般知识问题历史、科学、地理、数学等如果是直接回答不调用任何工具请求是否需要外部操作或实时数据且现有工具无法覆盖如果是礼貌说明没有该能力。另外有三条约束值得注意工具参数必须是用户亲口说出的值如果必需参数缺失要主动询问用户绝不能猜测工具调用失败或报错时不要对同一请求重试而是告知用户 API 出现问题系统提示与工具响应必须使用 ASCII 字符避免 em dash、度数符号、emoji 等 Unicode 符号工具响应应转换为简洁、适合 TTS 朗读的 ASCII 句子再喂给模型。配合on-hold机制当 LLM 生成会触发工具调用的文本时智能体会立即说出为该工具预定义的稍等话术避免用户在工具执行期间面对沉默。避坑指南高频问题与官方已知限制清单高频问题排查FAQQ1离线推理时用自己的音频没有回复A请检查音频尾部是否预留了足够静音。模型需要看到你的话说完才有时间组织回复。Q2离线函数调用为什么不执行真实工具A离线模式只验证模型能否预测出正确的TOOLCALL脚本不会真正调用外部 API。--api-response-json里是预写好的工具响应。要做真实执行请走交互式流式部署。Q3运行时报 Unicode/emoji 相关错误A系统提示、API 响应、工具响应都必须是 ASCII 字符。把非 ASCII 内容如中文标点、emoji替换为 ASCII 后再传入。Q4工具响应很长模型迟迟不说话A长工具响应可能导致延迟。给每个工具定义on-hold话术让智能体在等待期间先开口能显著改善体验。官方已知限制清单NVIDIA 官方通过内部测试总结出以下限制详见模型卡 Known Limitations 部分多数不影响常规使用但你需要心中有数上下文窗口模型训练时音频上下文窗口不超过约 2 分钟超出此窗口的对话上下文可能无法可靠保留知识面取舍为在通用知识与自然对话之间取得平衡模型在知识问答、指令遵循上弱于它依赖的 LLM 主干Nemotron Nano v2推理与对齐模型未针对多步推理、算术或安全对齐专门训练可能出现推理错误或给出不完整信息工具数量建议每个会话最多挂载 5 个工具更多工具会降低性能并行调用目前无法可靠地同时调用多个工具打断限制工具调用执行期间用户无法打断智能体混合对话在闲聊 工具请求混合场景中模型可能直接从自身知识作答而非调用合适工具环境敏感不适合嘈杂或混响严重的环境尤其要避免背景人声干扰。用数据说话全双工与工具调用的基准表现全双工交互能力Full-Duplex-Bench 1.0指标数值停顿处理SyntheticTOR↓0.153停顿处理CandorTOR↓0.255平滑轮次切换 TOR↑0.82平滑轮次切换延迟↓448 ms用户打断处理 TOR↑1.0用户打断响应延迟↓480 ms用户打断 GPT-4o 评分↑4.33TORTurn-over Rate是衡量对话轮次切换质量的指标。可以看到轮次切换延迟稳定在 450ms 左右打断响应约 480ms处于开源全双工模型的第一梯队VoiceBench 开源全双工榜单第 2 名。工具调用准确率AU Harness BFCL-v3工具调用类型准确率简单调用58.5%多工具调用62.5%并行调用42.5%并行多工具27.5%无关请求不误调Irrelevance89.6%平均56.1%自然语音场景下的工具使用Full-Duplex-Bench v3指标数值工具选择准确率82.5%参数准确率44.2%Pass133%综合来看工具选得准82.5%但参数填得还不够稳44.2%。这提示你在开发中要对用户输入做兜底校验必要时让模型二次确认参数。哪些场景适合用它推荐场景智能语音助手 / 语音机器人开发查天气、查股价、看新闻这类单工具场景效果最佳实时客服系统需要自然打断与快速轮转语音驱动的工具集成研究、全双工对话建模研究谨慎场景需要严格安全对齐或高可靠推理的任务嘈杂、多说话人环境下的语音交互非英语对话模型针对英语优化总结下一步你可以做什么NVIDIA NemotronLabs VoiceChat-11B 的价值在于用一个 11B 模型同时解决了全双工语音交互和工具调用两个难题把语音助手的开发门槛降到了克隆仓库 一条命令的程度。对开发者来说这是一套理想的起步平台。如果你想继续深入可以按这个顺序行动先听效果仓库中的turn_taking.wav自然轮转、interruptions.wav打断处理、tool_call.wav实时工具调用三个示例音频可以快速建立对模型能力的直观印象再跑通离线推理完成本文第 2 节的 Demo熟悉推理脚本与输出格式然后做实时部署按voicechat_realtime_instructions/目录的文档部署 WebSocket 服务把工具调用接到你的真实后端 API 上最后关注文档模型卡overview.md以及safety.md、privacy.md、explainability.md、bias.md四份责任文档在你把模型部署到生产环境之前务必通读。展望未来随着版本迭代可以期待工具调用在多工具协同、参数提取准确率和工具生态广度上的进一步提升。而今天这套开源全双工语音模型已经足够支撑你打造第一代真正会说话、会办事的语音助手——现在就动手试试吧。【免费下载链接】NVIDIA-NemotronLabs-VoiceChat-11B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 NVIDIA NemotronLabs VoiceChat-11B 保姆级实战：全双工语音对话与工具调用系统一步到位
NVIDIA NemotronLabs VoiceChat-11B 保姆级实战全双工语音对话与工具调用系统一步到位【免费下载链接】NVIDIA-NemotronLabs-VoiceChat-11B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B你是否经历过这样的尴尬对着语音助手说话要等它把整句听完才回复它回答到一半你想打断却被系统无视想让助手帮你查天气、查股价却要额外串联一整套工具编排代码。NVIDIA NemotronLabs VoiceChat-11B 正是为解决这些问题而生的开源全双工语音对话模型——它能在一条流水线里同时完成流式语音理解和语音生成并原生支持工具调用把听、说、用工具三件事整合进同一个 11B 模型。本文不会堆砌术语而是像带读代码一样带你从环境搭建开始3 分钟跑通第一个 Demo再深入工具调用协议、交互式部署和已知避坑点最后用官方基准数据帮你判断它是否适合你的场景。为什么你的语音助手总在假对话级联架构的三重痛点先回顾一下大多数语音助手的传统实现方式你就能明白 VoiceChat-11B 解决了什么。经典的级联方案是ASR语音识别→ LLM大模型理解→ TTS语音合成三段式流水线先把你的语音转成文字ASR再把文字喂给大模型生成回答LLM最后把回答文字合成为语音播出来TTS。这套方案有三个显而易见的短板延迟叠加每一段处理都要等待上一段的完整输出端到端响应通常以秒计对话感生硬打断失效助手正在说话时你很难插嘴让它停下来因为它根本没有边输出边听的能力工具调用割裂想让助手帮你执行天气查询、股票报价这类操作你还要自己维护一套工具调度的外部代码与对话流程完全脱节。而 NVIDIA NemotronLabs VoiceChat-11B 采用统一端到端全双工架构一个模型同时做流式语音理解与语音生成无需在多个模型或 API 之间切换从而把轮次切换延迟压到毫秒级。更难得的是它是首个支持工具调用的开源全双工模型——在保持自然对话节奏的同时可以随时触发工具调用让语音助手真正有手有脚。3 分钟跑通 Demo环境准备与最小推理示例先别急着看复杂原理我们把第一个语音对话 Demo 跑起来。整个过程分为三步准备环境、下载模型、执行离线推理。步骤一克隆仓库并安装依赖首先把模型仓库克隆到本地git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B离线推理脚本需要配套的 Speech 推理工程nemotron-labs-voicechat分支。把该分支克隆到本地后在仓库根目录设置环境变量# 将 你的 Speech 仓库目录 替换为实际克隆路径 cd 你的 Speech 仓库目录 git switch nemotron-labs-voicechat export NEMO_DIR$(pwd)接下来用 conda 创建干净的 Python 3.12 环境并安装依赖conda create -y -n voicechat python3.12 conda activate voicechat pip install torch2.10.0 torchvision0.25.0 torchaudio2.10.0 pip install -e .[all] pip uninstall -y nvidia-resiliency-ext pip install transformers4.56.0 tokenizers0.22.0 lhotse1.32.2 \ huggingface-hub0.34.4 hf-xet1.1.9 torchcodec0.10.0 \ torch_audiomentations jinja2 pip install ninja packaging wheel einops pip install --no-build-isolation --no-deps causal-conv1d1.6.2.post1 mamba-ssm2.3.2.post1 依赖版本是经过验证的固定组合尤其是causal-conv1d和mamba-ssm需要用--no-build-isolation --no-deps方式安装直接 pip 安装容易踩版本坑。硬件要求NVIDIA GPU官方推荐 A100、H100、H200、B100、B200 或 RTX-6000操作系统为 Linux推理引擎为 vLLM。步骤二下载模型 checkpoint使用 Hugging Face CLI 下载模型权重到本地目录hf download nvidia/NVIDIA-NemotronLabs-VoiceChat-11B \ --local-dir /path/to/checkpoint步骤三运行最小离线示例激活环境并执行通用对话推理脚本conda activate voicechat export NEMO_DIR/path/to/Speech python $NEMO_DIR/examples/speechlm2/offline_voicechat_infer.py \ --checkpoint /path/to/checkpoint \ --wav $NEMO_DIR/examples/speechlm2/sample_audio/sample_general.wav \ --output-dir /path/to/output运行结束后模型会基于输入的语音生成对应的回复语音和文本。如果你想用自己的音频文件记得在音频尾部预留足够的静音段给模型留出响应时间。至此第一个语音到语音speech-to-speechDemo 已经跑通。接下来我们拆解一下这个模型到底厉害在哪里。11B 统一架构拆解一条流水线如何同时完成听、说、调用级联架构 vs 统一全双工架构把两种方案放在一起对比差异一目了然对比维度传统级联ASR→LLM→TTSVoiceChat-11B 统一架构模型数量多个模型组合单个 11B 模型端到端延迟秒级约 450ms 轮次切换打断处理通常不支持支持响应延迟约 480ms工具调用需外部编排独立输出通道原生支持部署复杂度多服务协调单一模型、单一容器架构四大件VoiceChat-11B 采用混合 Mamba/Transformer 架构核心组件如下Fast Conformer 语音编码器来自 Nemotron-Speech-Streaming-En-0.6b负责把输入的 16kHz 音频流式编码为音频 tokenNemotron Nano v2 LLM 主干9B 参数的推理大脑基于音频 token 预测文本 tokenNVIDIA TTS 解码器与编解码器把文本 token 转换为语音编码最终生成 22.05kHz 的智能体语音独立工具调用输出通道与文本/语音通道并行专门负责预测TOOLCALL脚本。模型档案速查属性值参数量11B输入文本提示词 音频用户语音16kHz输出智能体文本 语音 用户转写文本22.05kHz运行时引擎vLLM开源许可OpenMDW 1.1训练语料约 55 万小时音频真实语音 合成语音混合一句话概括架构思路音频进、音频出工具脚本走侧信道。正因为工具调用走独立输出通道模型才能在正常说话和调用工具之间无缝切换不会打断对话的自然节奏。工具调用实战从协议格式到流式部署这是本文的核心章节。VoiceChat-11B 的工具调用能力可以拆成三部分理解协议格式、内置工具、触发逻辑。第一步看懂工具调用协议格式模型通过两个特殊标记与外部工具交互# 模型发起工具调用 TOOLCALL[{name: tool_name, arguments: {key: value}}]/TOOLCALL # 外部工具返回结果 TOOL_RESPONSE[{tool_response}]/TOOL_RESPONSE一个实际的调用示例是这样的TOOLCALL[{name: generate_random_number, arguments: {min: 1, max: 50}}]/TOOLCALL第二步了解内置默认工具集模型默认提供了三个工具你可以直接开箱测试工具名功能参数get_weather查询城市天气city必填城市名get_stock_price查询股票价格symbol必填股票代码get_top_news获取今日头条新闻topic可选business、technology、science 等第三步离线函数调用示例离线模式不会真正执行外部工具而是用--api-response-json指向一个预写好的工具响应文件。你只需要保证 JSON 中的tool_name与可用工具匹配、response为 ASCII 字符且适合 TTS 朗读即可。python $NEMO_DIR/examples/speechlm2/offline_voicechat_fc_infer.py \ --checkpoint /path/to/checkpoint \ --wav $NEMO_DIR/examples/speechlm2/sample_audio/sample_fc.wav \ --api-response-json $NEMO_DIR/examples/speechlm2/function_calling/random_number_response.json \ --output-dir /path/to/output运行后输出目录的 JSON 文件里就是模型预测出的函数调用。预写响应文件可参考examples/speechlm2/function_calling/random_number_response.json模板语法见同目录下的template.jinja。第四步交互式流式部署实时语音对话如果你要做的是真刀真枪的实时对话推荐使用 NVIDIA 优化的推理容器。它把模型与 CUDA、Triton、vLLM 整套推理栈打包在一起对外暴露双向 WebSocket 接口天然支持函数调用。完整的部署文档位于 Speech 仓库nemotron-labs-voicechat分支的voicechat_realtime_instructions/目录下按顺序阅读prerequisites.md硬件、软件与驱动要求generate-model-repo.md从本地 NeMo checkpoint 构建 Triton 模型仓库deploy.md启动容器并开始语音对话api-reference.mdWebSocket 与 HTTP 接口参考第五步系统提示与工具触发逻辑模型使用 Jinja 模板构建系统提示把可用工具与调用协议附加到系统消息之后。默认系统提示定义了一套清晰的决策流程请求是否匹配某个可用工具如果是必须调用该工具即使你知道答案是否是一般知识问题历史、科学、地理、数学等如果是直接回答不调用任何工具请求是否需要外部操作或实时数据且现有工具无法覆盖如果是礼貌说明没有该能力。另外有三条约束值得注意工具参数必须是用户亲口说出的值如果必需参数缺失要主动询问用户绝不能猜测工具调用失败或报错时不要对同一请求重试而是告知用户 API 出现问题系统提示与工具响应必须使用 ASCII 字符避免 em dash、度数符号、emoji 等 Unicode 符号工具响应应转换为简洁、适合 TTS 朗读的 ASCII 句子再喂给模型。配合on-hold机制当 LLM 生成会触发工具调用的文本时智能体会立即说出为该工具预定义的稍等话术避免用户在工具执行期间面对沉默。避坑指南高频问题与官方已知限制清单高频问题排查FAQQ1离线推理时用自己的音频没有回复A请检查音频尾部是否预留了足够静音。模型需要看到你的话说完才有时间组织回复。Q2离线函数调用为什么不执行真实工具A离线模式只验证模型能否预测出正确的TOOLCALL脚本不会真正调用外部 API。--api-response-json里是预写好的工具响应。要做真实执行请走交互式流式部署。Q3运行时报 Unicode/emoji 相关错误A系统提示、API 响应、工具响应都必须是 ASCII 字符。把非 ASCII 内容如中文标点、emoji替换为 ASCII 后再传入。Q4工具响应很长模型迟迟不说话A长工具响应可能导致延迟。给每个工具定义on-hold话术让智能体在等待期间先开口能显著改善体验。官方已知限制清单NVIDIA 官方通过内部测试总结出以下限制详见模型卡 Known Limitations 部分多数不影响常规使用但你需要心中有数上下文窗口模型训练时音频上下文窗口不超过约 2 分钟超出此窗口的对话上下文可能无法可靠保留知识面取舍为在通用知识与自然对话之间取得平衡模型在知识问答、指令遵循上弱于它依赖的 LLM 主干Nemotron Nano v2推理与对齐模型未针对多步推理、算术或安全对齐专门训练可能出现推理错误或给出不完整信息工具数量建议每个会话最多挂载 5 个工具更多工具会降低性能并行调用目前无法可靠地同时调用多个工具打断限制工具调用执行期间用户无法打断智能体混合对话在闲聊 工具请求混合场景中模型可能直接从自身知识作答而非调用合适工具环境敏感不适合嘈杂或混响严重的环境尤其要避免背景人声干扰。用数据说话全双工与工具调用的基准表现全双工交互能力Full-Duplex-Bench 1.0指标数值停顿处理SyntheticTOR↓0.153停顿处理CandorTOR↓0.255平滑轮次切换 TOR↑0.82平滑轮次切换延迟↓448 ms用户打断处理 TOR↑1.0用户打断响应延迟↓480 ms用户打断 GPT-4o 评分↑4.33TORTurn-over Rate是衡量对话轮次切换质量的指标。可以看到轮次切换延迟稳定在 450ms 左右打断响应约 480ms处于开源全双工模型的第一梯队VoiceBench 开源全双工榜单第 2 名。工具调用准确率AU Harness BFCL-v3工具调用类型准确率简单调用58.5%多工具调用62.5%并行调用42.5%并行多工具27.5%无关请求不误调Irrelevance89.6%平均56.1%自然语音场景下的工具使用Full-Duplex-Bench v3指标数值工具选择准确率82.5%参数准确率44.2%Pass133%综合来看工具选得准82.5%但参数填得还不够稳44.2%。这提示你在开发中要对用户输入做兜底校验必要时让模型二次确认参数。哪些场景适合用它推荐场景智能语音助手 / 语音机器人开发查天气、查股价、看新闻这类单工具场景效果最佳实时客服系统需要自然打断与快速轮转语音驱动的工具集成研究、全双工对话建模研究谨慎场景需要严格安全对齐或高可靠推理的任务嘈杂、多说话人环境下的语音交互非英语对话模型针对英语优化总结下一步你可以做什么NVIDIA NemotronLabs VoiceChat-11B 的价值在于用一个 11B 模型同时解决了全双工语音交互和工具调用两个难题把语音助手的开发门槛降到了克隆仓库 一条命令的程度。对开发者来说这是一套理想的起步平台。如果你想继续深入可以按这个顺序行动先听效果仓库中的turn_taking.wav自然轮转、interruptions.wav打断处理、tool_call.wav实时工具调用三个示例音频可以快速建立对模型能力的直观印象再跑通离线推理完成本文第 2 节的 Demo熟悉推理脚本与输出格式然后做实时部署按voicechat_realtime_instructions/目录的文档部署 WebSocket 服务把工具调用接到你的真实后端 API 上最后关注文档模型卡overview.md以及safety.md、privacy.md、explainability.md、bias.md四份责任文档在你把模型部署到生产环境之前务必通读。展望未来随着版本迭代可以期待工具调用在多工具协同、参数提取准确率和工具生态广度上的进一步提升。而今天这套开源全双工语音模型已经足够支撑你打造第一代真正会说话、会办事的语音助手——现在就动手试试吧。【免费下载链接】NVIDIA-NemotronLabs-VoiceChat-11B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考