知识卡片：口语函数调用：大型音频语言模型口语语言理解的新视角

英文关键词：Spoken Function Calling (SFC); Spoken Language Understanding (SLU); Large Audio Language Models (LALMs); Large Language Models (LLMs); SFC-Bench; Multi-agent System; Post-training

一句话结论

本文提出“口语函数调用”（Spoken Function Calling, SFC）这一新视角，用结构化规则定义替代传统封闭集口语语言理解（SLU）的模糊规则，实验表明SFC可显著提升LLM和LALM的语义抽取准确率。

事件概述或研究问题

传统SLU在领域内监督微调后能有效抽取封闭集任务的用户语义，但在开放域任务中，由于其规则定义模糊，难以利用上下文学习。本文提出SFC，旨在超越传统封闭集SLU，通过结构化的规则定义优化语义理解，并面向大型音频语言模型（LALM）探索这一范式。

方法/产品要点

• 基于传统SLU数据集整理并扩展一组“口语函数”（spoken functions），作为结构化语义定义。
• 构建多智能体系统合成生成 SFC-Bench 数据集。
• 在 SFC-Bench 上评估大语言模型（LLM）和大型音频语言模型（LALM）的表现。
• 通过后训练（post-training）增强 LALM 的 SFC 能力。

（具体数据集规模、函数定义细节、后训练方式等未在摘要中说明，待核实。）

主要结果或产业意义

• 实验表明，SFC 优于传统 SLU，能显著提高 LLM 和 LALM 的语义抽取准确率。
• 该范式对任务型对话系统、语音助手、智能客服等开放域语音交互场景具有潜在价值。

为什么重要

已有大型音频语言模型研究多关注推理蒸馏、声学感知等方向，而本文从“语义理解如何定义”这一源头问题切入，将口语语义理解重新表述为函数调用，并提供 SFC-Bench 这一评估资源。它为语音交互系统从封闭集意图识别走向开放域动态调用的演进提供了新路径。

局限与不确定性

• 摘要未给出具体实验数据、模型规模和基准对比数字（待核实）。
• SFC-Bench 的合成过程是否覆盖真实噪声、口音、多语言等场景尚不明确（待核实）。
• 与传统 SLU 的详细比较、以及与已有音频模型蒸馏方法的关联均未在摘要中展开（待核实）。

可用于图书/PPT/简报的角度

• 作为“语音交互”或“大模型应用”章节的案例：从传统 SLU 到函数调用的范式转变。
• 展示多智能体数据合成在音频模型评测集建设中的应用。
• 说明“后训练”对大型音频语言模型语义理解能力提升的作用。

原始材料

• 英文标题：Spoken Function Calling: A New Perspective on Spoken Language Understanding for Large Audio Language Models
• arXiv ID：2608.05126v1
• 作者：Yuezhang Peng, Yuxin Liu, Changfeng Gao, Zhifu Gao, Xiangang Li, Xie Chen
• 发布/更新：2026-08-05
• 分类：cs.CL, cs.MM
• 原始来源：https://arxiv.org/abs/2608.05126v1