知识卡片：面向LLM助手的可验证社会推理（Verifiable Social Reasoning for LLM Assistants）

一句话结论

论文提出 Fuse——一个多智能体模拟框架，用于在“用户向 LLM 助手咨询并推断他人隐藏动机”的场景中构造可验证的社会推理真值；对 12 个 LLM 的分析显示，用户中介、偏见框架、所需细节量和对话长度都会系统性影响模型表现，但具体模型清单、开源地址与数据细节待核实。

事件概述或研究问题

LLM 助手被广泛用于日常社交建议。评估这类咨询场景中的社会推理存在两个困难：助手要从主观用户叙述中了解社交情境；他人意图等社会属性通常缺少可验证真值。论文的研究问题是：如何在用户中介的社会推理设定中，为 LLM 助手的判断建立可验证评估？

Fuse 的做法是：让一个带有 hidden motive 的 target agent 与其他 agents 互动，其中一个 agent 代表用户；随后该用户咨询被评估助手，要求推断 target 的动机。由于动机由模拟构造，可提供可验证 ground truth。模拟忠实性通过包含 24k 条标注的人类研究验证。论文将 Fuse 应用于 12 个 LLM，并开源 Fuse 和含 21k 样本的数据集。

方法/产品要点

• Fuse：multi-agent simulation framework，用于研究 user-mediated social reasoning。
• 任务结构：target agent 隐藏动机 → 与其他 agents（含用户代理）互动 → 用户向被评估 LLM 助手咨询 → 助手推断 target motive。
• 真值来源：ground truth by construction，即可验证真值由模拟设定直接构造。
• 验证：human study with 24k annotations，用于检查 simulation faithfulness。
• 规模：评估 12 个 LLM；开源 Fuse 与 21k examples 数据集。
• 待核实：具体模型清单、开源仓库地址、数据集字段与许可、人类研究参与者与标注流程、任务语言与领域。

主要结果或产业意义

论文报告四类发现：

1. 用户中介会叠加社会推理本身的难度（user mediation compounds inherent difficulty）。
2. LLM 对 biased user framing 表现出系统性敏感。
3. 模型为达到正确预测，可能需要比人类更多的细节。
4. 更长对话不总能提升表现，即便提供了提出澄清问题的机会。

产业意义：LLM 社交建议助手的评测不应只依赖最终答案或对话轮数；需测试用户叙述偏差、信息不足与澄清交互。Fuse 的可构造真值与开源数据可能用于助手可靠性、安全性和社会推理能力评测，但实际产品迁移效果待核实。

为什么重要

日常社交咨询中，用户往往带着主观框架转述情境，而“对方意图”又难以验证。如果 LLM 助手易受用户偏见框架影响，或在信息需求上与人类不一致，可能影响建议质量与用户决策。该工作把社会推理评估从不可验证的主观判断，转为可构造真值的模拟任务，为 foundation-model 评测提供一种方法路径。

与既有“面向 LLM 社会模拟器审计的推理中介行为模型”卡片相比，本条不是审计模拟器内部理由路径，而是把评估对象放在用户中介后的 LLM 助手社会推理上，并强调用户框架偏差、澄清问题与对话长度等变量；其增量信息是 Fuse 框架、24k 人类标注验证和 21k 样本开源数据集。两者可形成“模拟器内部推理审计”与“用户中介可验证社会推理”的对照。

局限与不确定性

• 仅依据摘要与 metadata，无法确认 Fuse 模拟环境与真实社交咨询的差距、外部效度。
• 24k annotations 的人类研究设计、标注者构成、一致性指标待核实。
• 12 个 LLM 的具体名称、版本、提示设置与评测指标待核实。
• 21k examples 数据集的构成、许可、开源地址待核实。
• “更长对话不总提升表现”的适用范围与统计显著性待核实。
• 论文日期、arXiv ID 与分类以材料为准；PDF 全文中的方法细节和限制需进一步核对。

可用于图书/PPT/简报的角度

• 从“答案是否匹配”转向“社会推理是否可验证”：用户咨询型助手的评测设计。
• 用户中介效应：主观叙述如何增加 LLM 社会推理难度。
• 偏见框架敏感性：助手产品中的用户 framing 风险与缓解策略。
• 对话长度 ≠ 对话质量：澄清问题机会未必转化为性能。
• 多智能体模拟 + 构造真值：社会推理 benchmark 的方法论案例。
• 开源数据资源：21k examples 可用于复现与扩展（链接待核实）。
• 与既有社会模拟器审计卡片并置：内部推理路径 vs 用户中介可验证任务。

原始材料

• English title: Verifiable Social Reasoning for LLM Assistants
• arXiv ID: 2609.17496v1
• Authors: Amir Taubenfeld, Zorik Gekhman, Avigail Grinstein-Dabush, Itay Laish, Ariel Goldstein, Marian Croak, Avinatan Hassidim, Yossi Matias, Amir Feder
• Published/Updated: 2026-09-15T17:37:29Z
• Primary category: cs.AI
• Categories: cs.AI, cs.CL
• Abstract URL: https://arxiv.org/abs/2609.17496v1
• PDF URL: https://arxiv.org/pdf/2609.17496v1
• English keywords（据摘要整理；材料未列官方关键词）: verifiable social reasoning; LLM assistants; user-mediated social reasoning; multi-agent simulation; Fuse; hidden motive; biased user framing; clarifying questions
• Source excerpt: 摘要与 metadata 见上述 URL；Fuse 开源地址、数据集许可与人类研究细节未在材料中给出，待核实。