知识卡片：YANAMI——面向多轮状态化交互的大规模多模态数据集与基准

一句话结论

YANAMI 是面向统一多模态模型（UMMs）多轮“状态化交互”的大规模数据集与基准，包含 40 万条多轮多模态对话（YANAMI-400K）和 400 条对话的评测集（YANAMI-Bench），用于补足现有数据与评测偏重单轮、轮间信息可独立求解的缺口。

事件概述或研究问题

现有统一多模态数据集与基准以单轮任务为主；即使是近期多轮数据集，许多轮次也可在不追踪跨轮信息的情况下独立完成，因此对“多模态状态化交互”的监督与评测有限。该能力要求模型在多轮中理解、维护、更新并忠实实现不断演化的对话状态。论文提出 YANAMI 以填补这一空白。

方法/产品要点

• YANAMI-400K：40 万条多轮多模态对话，包含超过 200 万张图像与 260 万轮对话。
• 场景覆盖：多图融合（Multi-Image Fusion）、图像编辑（Image Editing）、世界建模（World Modeling）、视觉推理（Visual Reasoning）四类代表性场景，要求模型跨轮持续追踪、保持并修订演化的多模态对话状态。
• YANAMI-Bench：400 条多轮对话，用于系统评测多模态状态化交互，联合评估“对话状态理解”（Dialogue State Understanding）与“视觉实现”（Visual Realization），刻画模型理解演化状态与在视觉输出中忠实实现该状态之间的差距。
• 训练验证：在 YANAMI-400K 上微调 BAGEL。

主要结果或产业意义

• 微调 BAGEL 后，图像编辑、生成与多模态状态化交互分别提升 10.3%、2.0%、13.23%，同时保留其通用视觉理解能力。
• YANAMI-Bench 评测显示，现有 UMMs 在维护、更新并视觉实现演化多模态对话状态方面仍存在困难。
• 产业意义：为多轮多模态交互（如连续编辑、多图融合、世界建模类应用）提供了可训练、可比较的数据与评测基础设施。

为什么重要

多轮状态化交互是多模态助手走向实用的关键能力，而此前数据与评测的“伪多轮”问题使模型缺乏跨轮状态追踪的监督信号。YANAMI 同时给出大规模训练集与联合评估“理解—实现”的基准，并用量化实验说明该数据能带来可测提升，为后续 UMMs 的多轮能力研究提供了参照系。

局限与不确定性

• 论文摘要未说明数据构建来源、标注流程与质量控制细节，待核实。
• YANAMI-Bench 的评测指标定义、评分方式与人类一致性未在摘要中给出，待核实。
• 微调实验目前仅报告 BAGEL 一个模型的結果，其他 UMMs 的系统性微调对比待核实。
• 四类场景之外的覆盖范围与数据分布偏差待核实。

可用于图书/PPT/简报的角度

• “从单轮到多轮状态化交互”：多模态数据集与评测的演进脉络。
• “理解不等于实现”：对话状态理解与视觉实现之间的能力落差可作为独立分析视角。
• 数据规模与收益的量化对照：40 万对话 / 260 万轮 vs. 三项任务提升幅度。
• 多轮多模态应用（连续编辑、多图融合、世界建模）的能力基线参考。

原始材料

• 标题：YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
• arXiv ID：2611.05280v1（Primary category: cs.CV）
• 作者：Shengyu Wang, Tengyue Nong, Junming Liu, Haosong Peng, Siyu Li, Ruiqi Lei, Fushuo Huo, Yuhao Pan, Yunfeng Fan, Ding Wang, Nan Cheng, Haozhao Wang, Wenchao Xu
• 发布/更新：2026-11-03T17:59:36Z
• Abstract URL: https://arxiv.org/abs/2611.05280v1
• PDF URL: https://arxiv.org/pdf/2611.05280v1