知识卡片：NemotronLabs VoiceChat——具备工具调用能力的开放全双工语音到语音模型

一句话结论

NemotronLabs VoiceChat 是一个开放的 full-duplex speech-to-speech 模型，原生支持工具调用，并在多项基准上展示实时对话行为与工具选择能力；但参数准确率和端到端工具执行仍是待改进项。

事件概述或研究问题

来源材料介绍了一个名为 NemotronLabs VoiceChat 的开放全双工语音到语音模型，目标是让模型在统一流式架构中同时完成聆听、转录、推理、调用工具和说话，并保留自然对话所需的时间行为。论文属于 cs.CL，也列在 cs.AI 分类下。据来源材料，提交/更新时间为 2026-09-18T16:27:22Z。

研究问题可概括为：能否把全双工交互、语音识别与生成、通用语言能力、外部工具使用整合进单一开放 speech-to-speech 模型，而不牺牲实时对话行为。

方法/产品要点

• 架构结合 streaming speech encoder 与 decoder-only language model。
• 使用并行的专门输出流处理 agent text 和 structured function calls。
• 设置辅助 RNN-T 分支，用于增量用户转录。
• 使用 streaming TTS decoder。
• 统一流式架构使模型能够听、转录、推理、调用工具和说话。
• 设计目标包括保留自然对话所需的时间行为，例如打断、停顿处理和用户 backchannels 后的恢复。

英文关键词（据来源材料摘要提取，非官方 keyword 字段）：full-duplex speech-to-speech; tool calling; streaming speech encoder; decoder-only language model; RNN-T; streaming TTS decoder; Full-Duplex-Bench; VoiceBench。

主要结果或产业意义

来源材料报告的结果包括：

• 在 Full-Duplex-Bench 1.0 上，NemotronLabs VoiceChat 在已评估的开放权重系统中取得最低的 pause-handling takeover rates，用户打断后 100% takeover，打断后回复质量得分 4.33/5。
• 在 Full-Duplex-Bench 1.5 上，用户在 backchannels 后，模型在 93% 的情况下恢复其回答。
• 在 VoiceBench 上，获得 55.1 normalized average。
• 在 Full-Duplex-Bench 3.0（FDB 3.0） 上，工具选择 F1 为 82.5%；但 argument accuracy 和端到端工具执行仍是待改进领域。

产业意义：这些结果表明，全双工交互、语音识别和生成、通用语言能力、外部工具使用可以集成在单一开放 speech-to-speech 模型中，同时不牺牲实时对话行为。对语音助手、语音 agent 和实时多模态交互产品具有参考价值。

为什么重要

• 该工作把“工具调用”原生放进流式语音到语音模型，而不是只在文本 LLM 或级联式语音助手中处理外部工具调用。
• 全双工与打断/接管/backchannel 处理直接关系到自然语音对话体验，是语音 agent 从“回合制问答”走向实时交互的关键能力。
• 在 foundation-model 主题下，它展示了一个方向：语音基础模型不仅做识别或合成，也可以在同一流式架构中承担语言推理和函数调用。

与既有脉络的关系

本条与已有卡片无直接延续关系。相对“基于冻结离散扩散语言模型的音频原生语音识别”卡片，本条关注的不是单纯音频原生语音识别，而是端到端全双工语音交互与工具调用；增量信息是把 ASR、TTS、语言推理和结构化函数调用统一到流式 speech-to-speech 架构中。

局限与不确定性

• 模型参数规模、训练数据、许可证、开放权重获取方式：待核实。
• 延迟、吞吐、算力成本和设备端可行性：待核实。
• 工具调用安全性、失败模式、argument accuracy 的细粒度错误分析：待核实；来源明确 argument accuracy 和端到端工具执行仍是待改进领域。
• 基准评测的比较基线数量、统计显著性和完整指标定义：待核实。
• VoiceBench 55.1 normalized average 的具体上下文和对比对象：待核实。
• 多语言、口音、噪声环境下的鲁棒性：待核实。
• 论文是否经过同行评审、是否为最终版本：待核实。

可用于图书/PPT/简报的角度

• 语音 agent 架构：全双工交互 + 原生工具调用的融合设计。
• 技术图：streaming speech encoder、decoder-only LM、并行 agent text / function call 输出流、RNN-T 分支、streaming TTS decoder。
• 评测表：Full-Duplex-Bench 1.0 / 1.5 / 3.0 与 VoiceBench 的关键数字。
• 产品含义：打断、停顿处理、backchannels 后恢复回答为什么影响自然对话体验。
• 产业差距：工具选择 F1 已达 82.5%，但参数准确率和端到端执行仍需改进，说明“会选工具”与“能可靠执行工具”之间存在差距。
• 演进脉络：从 ASR、TTS、级联语音助手到统一流式 speech-to-speech agent。

原始材料

• 英文标题：NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities
• arXiv ID：2609.21967v1
• Authors：Jagadeesh Balam, Travis Bartley, Edresson Casanova, Sanjay Chauhan, Chen Chen, Zhehuai Chen, Zijia Chen, Francesco Ciannella, Slyne Deng, Mikyas Desta, Harishchandra Dubey, Slim Essid, Nourchene Ferchichi, Boris Ginsburg, Mariana Graterol Fuenmayor, Negar Habibi, Kevin Hu, Anand Joseph, Viraj Karandikar, Myungjong Kim, Viacheslav Klimkov, Seelan Lakshmi Narasimhan, Lily Lee, Jason Li, Eileen Long, Ameya Mahabaleshwarkar, Aditya Malte, Adi Margolin, Sasha Meister, Valentin Mendelev, Oluwatobi Olabiyi, Ankita Pasad, Yifan Peng, Elena Rastorgueva, Jayda Ritchie, Jason Roche, Nikhil Srihari, Yuanhang Su, Yoshi Suhara, Viet Anh Trinh, Jinhan Wang, Piotr Zelasko, Hui Wang, Puhui Meng, Chaosen Zhang, Yunsheng Liu, Shawn Wang, Wenjing Li, Zhonglei He
• Published：2026-09-18T16:27:22Z
• Updated：2026-09-18T16:27:22Z
• Primary category：cs.CL
• Categories：cs.CL, cs.AI
• Abstract URL：https://arxiv.org/abs/2609.21967v1
• PDF URL：https://arxiv.org/pdf/2609.21967v1