知识卡片：GenOlympiad——在能力边界上压力测试前沿图像模型

一句话结论

GenOlympiad 用九个能力轴上的高难度提示词对 20+ 个前沿文本到图像模型做压力测试，发现即便最强模型（Nano Banana Pro）严格得分也仅 23.9/100，说明当前 T2I 模型在“可视觉核验”的硬指标上仍存在巨大短板。

事件概述或研究问题

文本到图像模型已能生成高质量图像，但作者提出一个其他学科都会追问的问题：前沿模型究竟在哪里失败。为此论文构建了 GenOlympiad 基准，专门提供各能力轴上最具挑战性的提示词，用于探测前沿 T2I 模型的能力边界。研究问题可概括为：在可客观验证的任务上，前沿 T2I 模型的真实对齐水平如何。

方法/产品要点

• 九大能力轴：评估能力包括大批量生成、深度推理、硬物理一致性、复杂规则遵循等（原文列举为“include...and so on”，完整九轴清单待核实）。
• 提示词设计原则：提示词使“提示对齐”可被视觉核验（如计数），而非依赖主观判断（如风格）。
• 自动评估框架：将提示词分解为简单题与困难题；对多数困难题绘制辅助线（help lines）以定位证据，从而精确打分。
• 评测规模：评估 20+ 强 T2I 模型，包括 Nano Banana Pro、GPT-Image-2.5、Seedream-5.0 等。
• 开源：代码见 https://github.com/GenOlympiad/GenOlympiad ，项目页为 https://genolympiad.github.io/ 。

主要结果或产业意义

• 表现最好的 T2I 模型 Nano Banana Pro 仅获严格分 23.9/100。
• 编码类模型如 GPT-6 Astra 的提示对齐得分更高，但视觉观感不如 T2I 模型。
• 论文还给出关于模型演进、与 Elo 分数对齐性、以及基于 grounding 的评估协议有效性的洞察。
• 产业意义：提示“高质量图像”不等于“高难度指令对齐”，为模型选型与能力宣传提供了更严格的对照标尺。

为什么重要

它把 T2I 评测从“好看不好看”推向“能否按复杂规则精确完成可核验任务”，并揭示前沿模型在硬约束下得分极低这一落差。与既有卡片中“真实场景下 LLM 表现远未达实用要求”的结论形成呼应：不同模态的前沿模型都可能在真实/困难任务上暴露显著性能差距，而 GenOlympiad 提供了图像侧的量化证据。

局限与不确定性

• 九大能力轴的完整清单与各轴具体定义，摘要仅举例，待核实。
• 严格评分 23.9/100 的评分细则与容差设定，待核实。
• “编码模型对齐分数更高但视觉观感较差”的具体量化对比，待核实。
• 与 Elo 分数对齐性的结论细节，待核实。

可用于图书/PPT/简报的角度

• “生成质量”与“指令对齐”是两条曲线：高分模型在困难任务上仍可能不及格。
• 评测设计方法论：用可视觉核验的提示词 + 辅助线 grounding 替代主观风格评分。
• 跨模态对照：图像模型与语言/编码模型在困难对齐任务上的此消彼长。

原始材料

• 标题：GenOlympiad: Benchmarking Frontier Image Models at Their Capability Boundaries
• 作者：Xi Hu, Martin Bell, Liang Zheng
• arXiv ID：2610.26850v1（cs.CV），发布 2026-10-19
• 摘要页：https://arxiv.org/abs/2610.26850v1
• PDF：https://arxiv.org/pdf/2610.26850v1
• 代码：https://github.com/GenOlympiad/GenOlympiad
• 项目页：https://genolympiad.github.io/