知识卡片：CoCo-IR：上下文组合式图像检索

英文标题：CoCo-IR: Contextual Composed Image Retrieval
英文关键词：Contextual Composed Image Retrieval; Large Multimodal Model (LMM); Transformable Image Embeddings (TIE); Multi-turn Image Retrieval; CIRCO; Hard Negative Mining
原始来源：https://arxiv.org/abs/2608.05149v1

一句话结论

CoCo-IR 提出一种新的多轮“上下文组合式图像检索”任务，让用户通过多轮交互逐步细化检索结果。论文基于大型多模态模型（LMM）构建上下文感知检索器，生成随轮次演化的 Transformable Image Embeddings（TIE），并配合全自动数据引擎；摘要报告在 CIRCO 单轮基准上达到 39.4 mAP@5，在新建 CoCo-IR 基准的 4 轮对话上达到 44.1 R@1，而现有方法仅为 28.2 R@1。

事件概述/研究问题

现有基于指令的图像检索系统能力虽强，但通常只支持单轮交互，无法捕捉真实世界复杂视觉搜索中的迭代过程。
论文提出 Contextual Composed Image Retrieval（CoCo-IR）任务：系统需要理解完整交互历史，根据每一轮的新指令或反馈逐步更新检索结果。
对应模型需要同时处理多轮上下文，而不是只处理单次查询。

方法/产品要点

任务建模：CoCo-IR 将检索定义为多轮交互下的渐进式结果细化过程。
模型架构：基于大型多模态模型（LMM），作为上下文感知推理器，解释整个交互历史。
核心嵌入机制：提出 Transformable Image Embeddings（TIE），这些图像嵌入会随对话轮次演化，以适应用户不断变化的需求。
数据引擎：提出全自动、可扩展的数据生成流程，由 LMM 自动生成高质量的上下文检索数据，并通过 model-guided verification 挖掘具有挑战性的难负样本。
具体模型结构、训练损失、TIE 的演化细节等未在摘要中展开，待核实。

主要结果或产业意义

单轮基准 CIRCO：39.4 mAP@5。
新建 CoCo-IR 基准：4 轮对话上 R@1 为 44.1；现有方法在同一设定下为 28.2 R@1。
摘要称这些结果建立了新的 state-of-the-art；但该表述来自论文自报，尚待完整论文、同行评审和独立复现确认。
产业意义方面，论文未明确展开具体应用场景；但从任务设定看，多轮交互式图像检索对电商找款、素材库检索、设计参考等需要反复明确需求的场景可能具有价值，这属于合理延伸而非原文结论。

为什么重要

将组合式图像检索从单轮交互扩展到多轮上下文，弥补了现有系统在迭代式视觉搜索上的空白。
提出“随轮次演变”的图像嵌入 TIE，而不是一次性生成固定查询表示，是对检索建模的一种新思路。
全自动数据生成与难负样本挖掘机制，有望降低多轮检索数据的人工标注成本。
与已有卡片的增量关系：DiCE-CIR 聚焦零样本单轮组合检索，DIM-Fashion 聚焦时尚领域的多轮检索；CoCo-IR 则提出更通用的多轮上下文组合检索任务，并引入新的 CoCo-IR 基准和 LMM 方案。

局限与不确定性

当前信息来源仅为 arXiv 摘要，论文未经同行评议或评审状态未知。
所有实验数字均来自摘要自报，需以完整论文和复现实验为准。
CoCo-IR 基准的具体规模、数据来源、任务设计和评估协议尚未从材料中确认，待核实。
模型在真实场景中的检索质量、跨领域泛化能力、长多轮对话稳定性等均待验证。

可用于图书/PPT/简报的角度

从“单轮查询”到“多轮对话”：图像检索为什么需要上下文？
可演化的图像嵌入：让 AI 在多轮交互中记住用户偏好并动态调整检索结果。
用大模型自动造数据：无人工标注的多轮检索数据生成与难负样本挖掘。
新基准与新任务：如何衡量 AI 在多轮找图任务上的真实表现？

原始材料

英文标题：CoCo-IR: Contextual Composed Image Retrieval
arXiv ID：2608.05149v1
作者：Shengcao Cao, Tanmaya Shekhar Dabral, Zhongli Ding, Madhuri Shanbhogue, Kaifeng Chen, Zhe Li, Mojtaba Seyedhosseini, Yu-Xiong Wang, Liang-Yan Gui
发布/更新日期：2026-08-05T17:59:57Z
分类：cs.CV
论文链接：https://arxiv.org/abs/2608.05149v1
PDF 链接：https://arxiv.org/pdf/2608.05149v1
项目主页：https://CoCo-IR.github.io