知识卡片：DiaVLo：诊断视觉-语言模型的行为

一句话结论

DiaVLo 是一个面向视觉-语言模型（VLM）的行为诊断框架：它结合人工策划与 VLM 生成能力来构建“期望行为/观测行为”规范，并提供因果估计以识别影响行为的关键概念；摘要称其在多个开源 VLM 的分类与生成条件下产生了与模型性能相关的行为标签。

事件概述或研究问题

VLM 依赖在其子组件之间存储和传递适当信息。验证 VLM 是否表现出期望行为、避免有害行为，是其可靠部署的核心问题。然而，识别 VLM 行为的方法仍然稀缺。论文提出 DiaVLo，用于诊断 VLM 行为并暴露潜在错位。

方法/产品要点

• 利用 human curation 与 VLM 的生成能力，构建 desired and observed VLM behaviours 的规范。
• 通过这些行为规范 surface potential misalignments，即暴露潜在错位。
• 提供 causal estimates，用于识别 steering VLM behaviours 的最具影响力概念。
• 在若干开源 VLM 上、分类和生成条件下进行评估。

主要结果或产业意义

• 摘要称 DiaVLo 生成的行为标签与模型性能相关，并为测得的性能提供上下文。
• DiaVLo 暴露了清晰对齐和未对齐的行为，以及 VLM 如何感知、组织和优先处理概念的模式。
• 产业意义：为 VLM 的可靠部署、行为审计和概念级诊断提供潜在工具思路；具体落地效果与适用范围需结合全文实验细节，待核实。

为什么重要

VLM 部署不仅需要看准确率，还需要知道模型表现出哪些行为、哪些有害行为需要避免。行为识别方法稀缺，DiaVLo 将诊断对象从输出性能扩展到行为规范与潜在错位，并用因果估计指向影响行为的概念。与已有卡片的关系：已有卡片分别关注 VLA 具身推理忠实性、MLLM 视觉-认知错误演变、VLA 交互式后训练；本卡片聚焦 VLM 行为诊断与概念级因果影响，增量在于提供“行为规范 + 因果估计”的诊断视角，而非重复前述事实。

局限与不确定性

• 仅依据摘要，全文未获取：具体评估的开源 VLM 列表、数据集、任务、指标、因果估计方法、对齐/错位判定标准均待核实。
• 摘要未给出定量结果、统计显著性、因果假设细节或反事实设计，待核实。
• “behaviour labels 与模型性能相关”的具体相关强度与适用范围待核实。
• 该框架对闭源 VLM、真实部署场景和安全风险的适用性待核实。

可用于图书/PPT/简报的角度

• 从“模型准确率”转向“模型行为审计”：VLM 可靠部署中的行为规范与错位检测。
• 概念级因果诊断：哪些概念在 steering VLM 行为。
• 多模态对齐评估：期望行为 vs 观测行为。
• 可解释性与安全：用行为标签为性能指标提供上下文。
• 与 VLA 忠实性、MLLM 错误演变、后训练方法等主题形成“多模态模型可靠性”章节线索。

原始材料

• 英文标题：DiaVLo: Diagnosing Behaviours of Vision-Language Models
• 作者：Lorenzo Corti, Jie Yang
• arXiv ID：2609.22008v1
• 分类：cs.CL, cs.AI；Primary category: cs.CL
• 发布/更新：2026-09-18T17:06:44Z
• URL：https://arxiv.org/abs/2609.22008v1
• PDF：https://arxiv.org/pdf/2609.22008v1
• 英文关键词（基于摘要提取，非作者关键词）：Vision-Language Models (VLMs), behaviour diagnosis, desired and observed behaviours, potential misalignments, causal estimates, influential concepts, classification, generation
• 摘要原文：Vision-language models (VLMs) rely on storing and transferring appropriate information across their sub-components. Verifying that the VLMs exhibit desired behaviours, while avoiding harmful ones, is central to their reliable deployment. Yet, methods that identify VLM behaviours remain scarce. We present DiaVLo, a diagnostic framework that leverages human curation and VLMs' generation capabilities to construct specifications of desired and observed VLM behaviours, surfacing potential misalignments. Beyond this, DiaVLo also provides causal estimates to identify the most influential concepts steering VLM behaviours. We evaluate DiaVLo on several open-source VLMs under both classification and generation conditions. Our experiments show that DiaVLo produces behaviour labels that correlate with model performance and provide context for measured performance. DiaVLo surfaced behaviours that are clearly aligned and misaligned, alongside patterns in how VLMs perceive, organise, and prioritise concepts.