知识卡片：先看后合成：VLM引导的转换事件发现用于弱监督密集视频描述

一句话结论

SBS（Seeing Before Synthesizing）提出“先看后合成”的新范式：先用视觉语言模型（VLM）观察事件间隙的帧级内容，再在真正发生语义转换的位置合成辅助指导，从而在弱监督密集视频描述中同时提升事件定位与描述性能。

事件概述或研究问题

弱监督密集视频描述（Weakly-Supervised Dense Video Captioning）的任务是：仅凭每段未修剪视频对应的一组有序事件级字幕，定位并描述视频中的多个事件。近期方法会用大语言模型（LLM）合成“过渡字幕”来提供额外的视觉-语言对齐信号，但这些字幕缺乏视觉基础，并且被固定分配到每个事件间隙的固定位置和时长上。SBS 针对这一局限，提出让视觉语言模型先“观看”间隙画面，再自适应地决定是否及如何合成辅助描述。

方法/产品要点

SBS 利用 VLM 为事件间隙生成帧级叙述（frame-level narratives），而不是直接依赖 LLM 生成脱离画面的过渡字幕。
通过分析这些帧级叙述之间的语义变化，检测视频中的“转换事件”。
对识别出的转换，将时间中点与语义变化点相融合，细化事件间的时间掩码；随后选择能使视觉-语言对齐最大化的掩码宽度。
整个框架只在实际需要的位置提供有视觉依据的语言指导，避免固定位置、固定时长的刚性分配。

主要结果或产业意义

论文报告在 ActivityNet Captions 和 YouCook2 两个基准上，SBS 在描述（captioning）与定位（localization）任务上均达到最优性能。
具体数值、指标细节与消融实验因原文正文未获取，暂记为“待核实”。
产业意义尚无摘要信息；潜在应用可能涉及视频内容理解、自动字幕生成、视频检索等方向，但需进一步核实。

为什么重要

SBS 尝试修正“合成辅助字幕”与真实视觉内容脱节的问题，将辅助信号生成从“盲目填空”转为“视觉引导的主动发现”。这与已有相关卡片中的视频级矛盾识别、异常检测、驾驶视频检索任务均不同；其增量信息在于专门面向弱监督密集视频描述中的事件间隙建模，并利用帧级叙述的语义变化来发现转换事件。

局限与不确定性

原文正文未被成功抓取，模型结构、训练细节、计算开销、评测设置均待核实。
论文摘要未报告失败案例、跨数据集泛化情况或对不同 LLM/VLM 组合的敏感性。
SBS 对 VLM 的依赖程度较高，因此 VLM 在模糊间隙画面上的叙述质量是否成为性能瓶颈，需要更多信息确认。

可用于图书/PPT/简报的角度

用“先看后合成”解释视频理解中“感知—对齐—合成”的关系。
对比“LLM 合成过渡字幕”与“VLM 帧级叙事指导”两种事件间隙处理方式。
展示如何用“语义变化点”而非固定中点来定位事件边界。
可作为弱监督视频理解前沿方法的案例，用于介绍 ActivityNet Captions 等基准上的近期进展。

原始材料

英文标题：Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning
英文关键词（根据标题与摘要归纳，待核实）：Weakly-Supervised Dense Video Captioning; VLM-Guided Transition Event Discovery; Visual Grounding; Frame-Level Narratives
来源：arXiv:2609.04183v1
URL：https://arxiv.org/abs/2609.04183v1
说明：未能抓取正文，以上内容仅基于已知标题与摘要元数据生成；未在元数据中出现的作者、日期、指标与实现细节均为“待核实”。