知识卡片：Quant-Arena——评测 LLM 智能体端到端量化研究能力的基准

一句话结论

Quant-Arena 用真实 A 股数据把“提出假设→写特征与打分代码→在 2022–2023 反馈调优→冻结策略→在封存的 2024 年评估”这一完整量化研究闭环交给 LLM 智能体，结果显示九个前沿模型中最高的 GPT-6 Astra 也没能在 2024 年跑赢等权市场。

事件概述或研究问题

量化研究本质上是一个迭代循环：研究者提出市场假设，将其实现为可执行信号，在历史数据上检验，再决定保留什么。已有基准多只评公式、代码或单笔交易决策，无法回答“LLM 能否走完这个闭环并产出研究期之外仍然有效的策略”。Quant-Arena 针对这一问题提出端到端基准与公开排行榜，数据基于真实 A 股市场。

方法/产品要点

• 任务结构：模型自行构造特征与股票打分代码；只能获得 2022–2023 年的反馈；最终须冻结一个策略，用于评估封存的 2024 年。
• 评估器：现金账户评估器施加交易约束与成本，包括由模拟订单簿估计的市场冲击。
• 评分构成：以已实现超额收益为主导，辅以信号质量与策略所用特征的多样性。
• 开放提交：任何模型或智能体框架（agent harness）均可提交。
• 评测规模：评估了九个前沿模型。

主要结果或产业意义

• 九个前沿模型中 GPT-6 Astra 得分最高。
• 但没有任何模型在 2024 年跑赢等权市场（equal-weight market）。
• 这说明当前前沿 LLM 在“端到端量化研究闭环 + 样本外检验”这一任务上仍未达到可用的基线水平；同时也提示该基准的难点可能集中在样本外泛化与交易成本建模，而非单纯的代码生成能力。

为什么重要

它把评测对象从“单点能力”（公式、代码、单笔决策）推进到“研究流程整体”，并用封存年份与含市场冲击的成本模型来约束过拟合与理想化假设。对量化研究自动化和 LLM 智能体评测两个方向都是增量：以往基准无法区分“会写代码”与“能做出样本外有效的策略”，Quant-Arena 给出了可比较的公开标尺。

与既有脉络的关系

与已有卡片中的 AI4AI-Bench（评测智能体改写训练算法的递归自我改进能力）思路相近：两者都把“智能体能否完成一个真实研发闭环”作为评测对象，而非单步输出质量。本条将同类思路迁移到量化投研领域，并额外引入封存年份与交易成本约束。与“引用验证器评分 LLM”卡片无关。

局限与不确定性

• 仅覆盖 A 股市场与 2022–2024 年区间，结论能否外推到其他市场与时段待核实。
• 材料未说明九个模型的具体版本细节、提示设置与运行预算是否可比，待核实。
• 评分权重（超额收益主导的具体比例）、信号质量与特征多样性的具体度量方式，摘要未给出，待核实。
• “模拟订单簿估计市场冲击”的具体建模假设与校准方式待核实。
• 公开排行榜的提交规范与防作弊机制细节待核实。

可用于图书/PPT/简报的角度

• “会写代码 ≠ 会做研究”：用“无一模型跑赢等权市场”作为反差案例，说明端到端研发闭环评测的价值。
• 基准设计方法课：封存年份 + 交易成本 + 特征多样性评分，可作为“如何设计防过拟合评测”的示例。
• AI 量化投研现状页：作为“前沿模型在真实投研任务上仍有明显缺口”的引用证据。
• 智能体评测演进线：单点能力基准 → 研发闭环基准（可与 AI4AI-Bench 并列展示）。

原始材料

• 标题：Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research
• arXiv ID：2610.30113v1
• 作者：Houde Qian, Zheng Jiang, Wenyi Li, Chenxi Xu, Xinjie Lin, Yuzhao Peng, Ruoyu Han, Youjie Zheng, Kaisen Yang, Qinhuai Na, You Fu, Calvin Xiao
• 发布/更新：2026-10-21T17:54:01Z
• 主分类：cs.CL；分类：cs.CL, cs.AI, cs.CE
• 摘要页：https://arxiv.org/abs/2610.30113v1
• PDF：https://arxiv.org/pdf/2610.30113v1
• 关键词：LLM agents；quantitative trading；benchmark；A-share market；out-of-sample evaluation；market impact