知识卡片：VeriFine——扩展验证以促进具身推理自我改进

英文标题：VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning

一句话结论

VeriFine 提出一个 agent harness 框架，让 policy、训练课程与 judge 共同演化，并在验证成为瓶颈时引入选择性人类指导来改进 judge，从而支持具身推理中的持续自我改进；具体性能提升幅度与实验细节待核实。

事件概述或研究问题

自我改进策略会不断暴露新的失败模式，因此其 judge 需要验证的内容也在变化。摘要指出，当前固定 judge 会限制优化反馈和有用训练样本的发现，进而限制进一步自我改进。在具身推理中，这一问题更突出，因为可靠评估需要处理空间 grounding、因果推理和安全感知决策。

VeriFine 研究的问题是：如何通过扩展 verification，使 policy 与 judge 能随失败模式演化而共同改进。

方法/产品要点

• VeriFine 是一个 agent harness framework，核心是 policy、training curriculum 与 judge 的共同演化。
• Policy Improvement Loop：使用 rubric judge 诊断反复出现的失败，构建自适应课程，并优化 policy。
• Judge Improvement Loop：当进展停滞且验证成为瓶颈时，选择性查询人类对 informative failure cases 的指导，并通过 coactive calibration 精炼 judge。
• coactive calibration 被描述为人类与 agents 解决分歧、趋近 physical reasoning 的 objective rubric 的过程。
• 修订后的 judge 会指导下一阶段的数据选择和 policy 优化。
• 摘要称实验覆盖驾驶和机器人导航任务，并跨越 reinforcement 与 supervised fine-tuning。

主要结果或产业意义

摘要称，在驾驶和机器人导航任务中，VeriFine 展示了 policy 与 judge 能力在强化学习和监督微调中的持续自我改进。其产业意义在于：当具身系统的失败模式随训练演化时，评估器也需要可扩展、可校准，否则会成为数据选择和优化反馈的瓶颈。

具体任务数量、数据集、基线、指标、成功率、提升幅度、统计显著性、人类介入频率与成本，以及真实部署效果，均待核实。

为什么重要

VeriFine 把“验证/judge 本身”作为自我改进闭环中的可演化对象，而不是只优化 policy 或依赖固定评估器。这对具身智能尤其重要，因为驾驶、机器人导航等场景的评估不能只看答案对错，还要看空间 grounding、因果推理与安全决策。

与既有脉络的关系

• 与“AI4AI-Bench”关注递归自我改进中的算法设计能力评测不同，VeriFine 更聚焦具身推理中 verification 与 judge 的可扩展改进。
• 与“ScienceBuddy”的 recursive-in-recursive 自我改进有相似的内外循环色彩，但 VeriFine 明确把 judge 改进作为独立循环，并与 curriculum、policy 共同演化。
• 与“RPG”不更新模型权重、只改进系统提示与可复用符号技能库不同，VeriFine 摘要称跨 reinforcement 与 supervised fine-tuning 优化 policy，并把 judge 精炼纳入闭环；具体权重更新范围与实现方式待核实。

局限与不确定性

• 本卡片仅依据 arXiv 摘要与元数据，未阅读全文，方法细节、实验设置、消融实验与附录内容待核实。
• “objective rubric of physical reasoning”的具体定义、可操作性与泛化能力待核实。
• Judge 改进是否会导致 reward hacking、rubric 漂移或评估偏差，摘要未说明，待核实。
• 跨任务、跨 embodiment、跨安全场景的泛化效果待核实。
• 代码、数据与可复现性状态待核实。
• 作者机构、发表状态与同行评审情况待核实。

可用于图书/PPT/简报的角度

• 自我改进的下一瓶颈可能是 verification：policy 变了，judge 也需要变。
• 三体共同演化：policy、training curriculum、judge。
• 选择性人类指导：把人类反馈用在 informative failure cases，而非全量标注。
• 具身评估的三条线：空间 grounding、因果推理、安全感知决策。
• 从固定 rubric 到动态、可校准 rubric。
• 与 RPG、ScienceBuddy、AI4AI-Bench 等卡片形成“自我改进与验证器演化”的脉络对照。
• 驾驶与机器人导航中的闭环自我改进：数据选择、课程构建、judge 校准与 policy 优化相互反馈。

原始材料

• 英文标题：VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning
• 英文关键词（据标题与摘要提取，非原文关键词表）：self-improvement; verification; embodied reasoning; agent harness; policy improvement loop; rubric judge; adaptive curriculum; judge improvement loop; coactive calibration; spatial grounding; causal reasoning; safety-aware decision-making; reinforcement learning; supervised fine-tuning; driving; robot navigation
• arXiv ID：2610.08761v1
• Authors：Zewei Zhou, Rachel Luo, Yulong Cao, Chaowei Xiao, Chensheng Peng, Boyi Li, Thomas Tian, Zheng Lian, Yan Wang, Jiaqi Ma, Boris Ivanovic, Marco Pavone, Wenhao Ding
• Published：2026-10-06T17:50:29Z
• Updated：2026-10-06T17:50:29Z
• Primary category：cs.AI
• Categories：cs.AI, cs.RO
• Track：academic
• Topics：foundation-model
• Abstract URL：https://arxiv.org/abs/2610.08761v1
• PDF URL：https://arxiv.org/pdf/2610.08761v1