知识卡片：PerSo——真实世界说服场景中的大语言模型社会智能评测

一句话结论

PerSo 是一个基于 Reddit r/ChangeMyView 真实说服对话构建的大语言模型社会智能基准，同时评估认知智能（推断他人心理状态）与行为智能（选择合适社交行为）；但本卡片未能抓取论文正文，具体方法细节与数值结果待核实。

事件概述或研究问题

• 论文关注大语言模型（LLM）的社会智能（social intelligence），并将其拆分为两个方面：
  • 认知智能：推断他人心理状态的能力。
  • 行为智能：基于上述推断选择合适社交行为以达成社交目标的能力。
• 研究问题：如何在真实世界的说服场景中，同时评测 LLM 的这两个方面，而非仅用合成场景孤立评测。
• 论文提出基准 PerSo，使用 Reddit 的 ChangeMyView 社区真实说服对话作为素材。
• 说明：来源材料仅提供标题与摘要级元数据，正文未能抓取，以下方法/结果条目均来自摘要，细节待核实。

方法/产品要点

（以下均基于摘要，具体实现待核实）

• 数据来源：Reddit ChangeMyView 社区的真实说服对话。
• 构建流程：采用 LLM-in-the-loop 流水线构建评测任务。
• 质量保障：通过人工标注进行验证。
• 评测设计：同时覆盖认知智能与行为智能两个维度，而非只测其一。
• 待核实：任务的具体形式、评测指标、提示词设计、LLM-in-the-loop 的具体角色与人工标注一致性等。

主要结果或产业意义

（以下均基于摘要，数值与统计细节待核实）

• 对多个不同 LLM 的评测显示：性能总体随模型规模增长而提升，但在不同维度上表现存在差异。
• 表现最强的 LLM 在行为任务上略微超过所观测到的最佳人类表现。
• 在认知任务上，最佳人类参与者仍领先于模型。
• 产业意义（推断，待核实）：说明“会做合适的社交动作”与“准确推断他人心理状态”可能不是同步被解决的能力，社交类 AI 产品的评测与优化需分维度看待。

为什么重要

• 社会智能是涉及人机交互与多智能体环境应用的关键能力，仅靠单一维度评测可能高估或误判模型的实际社交能力。
• 与既有基准多采用合成场景、且往往将认知与行为分开评测不同，PerSo 强调在真实说服对话中同时考察两者。
• 与“已有相关卡片”的关系：本卡片与前述基准类卡片（如 Data Analysis in the Wild 提出的 DataGovBench）同属“用真实世界复杂性检验 LLM”的脉络；增量信息在于其聚焦社会智能/说服场景，而非数据分析场景。
• 待核实：论文是否讨论了模型规模以外的因素（如训练数据、对齐策略）对两维度差异的影响。

局限与不确定性

• 本卡片未能获取论文正文，所有方法与结果描述均来自摘要级来源，需回到原文核实。
• ChangeMyView 是特定英文社区，结论能否推广到其他语言、文化或说服场景待核实。
• “LLM-in-the-loop”构建评测任务是否引入模型自身偏好或偏差，待核实。
• 摘要所述“最强 LLM 略微超过最佳人类行为表现”“最佳人类在认知任务上仍领先”的差距幅度、样本量与显著性，待核实。
• 人工标注的规模、标注者背景与一致性指标，待核实。

可用于图书/PPT/简报的角度

• “社会智能拆成两半”：认知推断与行为选择可以不同步，用于说明能力评测的维度化设计。
• 真实场景 vs 合成场景：为什么说服对话是检验社会智能的天然试验台。
• 人机对比的细分结论：行为上模型已可匹敌甚至略胜，认知上人类仍领先——可用于讨论 AI 社交能力边界。
• LLM 参与构建评测基准的范式（LLM-in-the-loop + 人工验证）及其潜在风险。
• 与数据分析等真实场景基准并列，构成“真实世界复杂性考验 LLM”的一组案例。

原始材料

• 标题：PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.20548v1
• Track：academic
• Topics：foundation-model
• 关键词（原文未提供，待核实）：暂无
• 备注：正文未能抓取，本卡片仅基于已知元数据生成，标注“待核实”处需回原文确认。