知识卡片：视觉相似性的多重含义：一种文本提示的图像感知度量

一句话结论

TPIPS 是一种基于文本提示的视觉相似性度量，能够根据用户指定的语义方面（如形状、颜色）动态评估图像对之间的相似性，在多个基准上比现有单一标量度量更接近人类判断，并解锁了文本引导检索、组合搜索和生成模型细粒度评估等新功能。

事件概述或研究问题

人类对图像相似性的判断是上下文相关的——例如两幅图像可能在形状上相似但在颜色上不同。现有的感知相似性度量（如 LPIPS、SSIM 等）只能输出一个单一标量值，无法根据具体语义方面进行条件化。本文旨在填补这一空白，提出一种支持文本提示的、多语义的感知相似性度量。

方法/产品要点

• 大规模数据集：收集了人类对图像三元组的相似性判断数据，每个三元组针对多个自由形式的语义方面进行标注（如 “形状”“颜色”“纹理” 等）。
• 基准测试：测试了多种前沿视觉-语言模型（VLM），发现它们与人类标注者的一致性存在显著差距。
• TPIPS 指标：基于上述数据微调一个 VLM，使其能够根据给定的文本提示（如 “在颜色上相似”）输出对应的相似性分数，从而捕捉视觉相似性的多重含义。
• 公开资源：代码、数据集和训练模型均已在 https://peterwang512.github.io/TPIPS 上开源。

主要结果或产业意义

• TPIPS 与人类感知的一致性显著优于现有度量，且在训练分布外（如不同图像域）依然可靠泛化。
• 应用层面：TPIPS 可用于文本引导的图像检索（如 “找与这张图形状相似但颜色不同的图片”）、组合搜索（同时满足多个语义条件）以及生成模型的细粒度评估（例如评估生成图像在某一特定方面是否与参考相似）。

为什么重要

现有视觉相似性度量只输出一个静态分数，忽略了人类判断中的语义多义性。TPIPS 首次将自然语言提示引入感知度量，使度量本身变得可解释、可控，为图像检索、生成模型评估和交互式视觉分析提供了更灵活的定量工具。

局限与不确定性

• 论文摘要未报告 TPIPS 在极端分布变化（如抽象艺术、医学图像）上的表现；可能需要更多域外测试。
• 数据集的具体规模、标注者一致性细节暂未在摘要中披露，待核实。
• 微调所用的 VLM 架构和训练细节未提及，待核实。

可用于图书/PPT/简报的角度

• 图示对比：展示一张图片分别与另外两张图片在 “形状” 和 “颜色” 上的相似性对比，说明传统度量无法区分。
• 应用场景：电商搜索（“类似款式但不同颜色”）、创意设计（“找构图相似的素材”）、AI 生成质量控制（“检查生成结果在纹理上是否忠实于原图”）。
• 技术亮点：将语言作为灵活的条件化接口，突破了传统感知度量的固定评价维度。

与既有脉络的关系

无直接相关的已有知识卡片。本条卡片独立介绍了一种新型文本提示感知度量。

原始材料

• 标题：The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric
• 英文关键词：visual similarity, perceptual metric, text-prompted, VLM, dataset
• 来源：arXiv:2607.18237v1, 2026-07-20, cs.CV
• 链接：https://arxiv.org/abs/2607.18237v1
• 代码/数据：https://peterwang512.github.io/TPIPS