知识卡片：FinAutoRubric——专家引导的金融研究智能体自动评分标准生成

一句话结论

FinAutoRubric 让专家提供可复用评估指导，由智能体和代码完成查询特定的评分标准生成、审查与验证；在三个专家编写的金融基准上，其评分标准接近最强被评估生成器对专家评分的追踪，同时为更多准则给出专家评分标准的 expected value，评分与人工评分一致，并获内部分析师盲评偏好；还发布了 100-query FinAutoRubric Benchmark。

事件概述或研究问题

评估金融研究智能体时，评分标准需要反映专家标准，并固定截至信息截止时点正确的值。专家审阅的金融基准依赖固定逐项评分标准，这类方式扩展成本高，且无法编码每个机构自己的标准。FinAutoRubric 研究的是：能否以专家可复用指导为核心，自动生成查询特定 rubric，并完成审查和验证。

方法/产品要点

• 专家指定可复用评估指导；智能体和代码执行 query-specific rubric generation、review、validation。
• 专家指导同时作为 prompts 和 code 强制规则，管辖每个 agent；Task Bank 中的可复用准则跨任务传递。
• 在长时程循环中，writer agent 研究每个 expected value，reviewer agent 进行验证；失败升级到 human。
• 发布 100-query FinAutoRubric Benchmark，由内部分析师的关键问题构建，覆盖 78 tasks 和 8 asset classes。

主要结果或产业意义

• 在三个 expert-authored finance benchmarks 上，其 rubrics 对专家评分的追踪程度与最强被评估生成器相当，同时为更多 criteria 陈述 expert rubric 的 expected value。
• 其评分与 human grading 一致；in-house analysts 在 blind review 中偏好它们。
• 发布的 benchmark 显示，较早模型代际生成的 rubrics 对较后模型代际仍留有 headroom。
• 对产业而言，这指向一种可扩展、可编码机构标准、强调信息截止时点的金融研究智能体评估基础设施。

为什么重要

金融研究智能体评估的难点不只是自动打分，还包括专家标准落地、机构差异和信息时效。与已有“自动科研智能体评分标准自动归纳”（AutoSciRub）脉络相比，本条的增量在于：把专家指导做成可复用资产，并用代码规则、Task Bank、writer/reviewer/human escalation 和金融基准来落地；同时显式强调信息截止时点与 expected value。这使 rubric 生成从通用科研/评审场景延伸到金融研究评估，并加入机构标准与资产类别覆盖。

局限与不确定性

• 材料仅见摘要，未给出具体基准名称、模型名称、评分指标数值、盲评人数、人工升级频率、Task Bank 规模、代码/数据开放程度。待核实。
• 机构标准如何编码、信息截止时点如何维护、跨时点数据泄漏如何控制、成本与可复现性等，材料未说明。待核实。
• 100-query benchmark 的构建细节、78 tasks 与 8 asset classes 的具体分布未在材料中展开。待核实。

可用于图书/PPT/简报的角度

• 金融 AI 研究智能体评估的“专家指导 + 自动 rubric”范式。
• 如何用可复用评估指导与 Task Bank 把机构标准编码进评估流程。
• writer/reviewer/human escalation 的长时程验证循环。
• 信息截止时点与 expected value 固定对金融问答/研究评估的意义。
• 100-query、78 tasks、8 asset classes 的基准设计作为案例。
• 与自动科研智能体评估（AutoSciRub）的对照与迁移。

原始材料

• 英文标题：FinAutoRubric: Expert-Guided Automatic Rubric Generation for Evaluating Financial Research Agents
• 英文关键词（材料未单列，以下为标题与摘要中可保留术语）：financial research agents; automatic rubric generation; expert-guided evaluation; finance benchmarks; Task Bank; writer agent; reviewer agent; human escalation; information cutoff.
• arXiv ID：2609.35744v1
• Authors：Hoyoung Lee, Suyeol Yun, Jack Haverty, Yunju Cho, Meesong Kim, Daekyung Park, Sumin Kim, Jihoon Kwon, Jasmine Jia Geng, Andrew Chin, Yin Luo, Edward Tong, Yu Yu, Zach Golkhou, Minkyu Kim, Igor Halperin, Young Cha, Alejandro Lopez-Lira, Chanyeol Choi, Yongjae Lee
• Published：2026-09-28T17:55:06Z；Updated：2026-09-28T17:55:06Z
• Primary category：cs.AI；Categories：cs.AI, q-fin.CP
• Abstract URL：https://arxiv.org/abs/2609.35744v1
• PDF URL：https://arxiv.org/pdf/2609.35744v1