知识卡片：LAION-BVD：千万小时级开放视频数据集，用于多模态预训练
英文标题：LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
英文关键词：LAION-BVD; open video dataset; multimodal pre-training; CommonCrawl; video-text; audio-text; image-text retrieval
一句话结论
LAION-BVD 是一个开放的大规模多模态视频数据集：从 CommonCrawl 获得约 13 亿条平台特定视频 URL，成功下载 8000 万段视频，总时长 1000 万小时；通过内容感知场景检测切分片段并合成视频/音频描述，支持视频、音频、图像三种模态的预训练。基于该数据训练的模型在视频-文本、音频-文本基准上表现具有竞争力，且性能随规模提升。
事件概述或研究问题
- 研究问题：多模态预训练需要覆盖视频、音频和图像的大规模开放数据，而现有开放视频数据集的规模仍然有限。
- LAION-BVD 试图以千万小时量级的开放视频数据填补这一空白，并为研究社区提供可直接使用的数据资源。
方法/数据集要点
- 数据来源：从 CommonCrawl 中收集约 13 亿条平台特定视频 URL。
- 下载规模：最终下载 8000 万段视频，总时长 1000 万小时。
- 场景切分：使用内容感知的场景检测（content-aware scene detection）将下载视频切分为片段。
- 描述生成：为切分后的视频片段合成生成视频描述（video captions）和音频描述（audio captions）。
- 图像-文本数据扩展：额外提取场景切换帧，作为图像-文本数据的替代来源；这些帧的视觉分布与标准网络图像语料不同。
- 预训练模态：覆盖视频-文本、音频-文本和图像-文本等多模态预训练任务。
主要结果或产业意义
- 在标准视频-文本和音频-文本基准上，使用 LAION-BVD 训练的模型取得具有竞争力的性能，并且随着训练规模或模型规模增大出现一致的性能提升。
- 基于场景切换帧训练的模型在图像-文本检索任务上表现强劲。
- 数据集将开放给研究社区，显著扩展了开放多模态视频数据的可获取规模，对多模态基础模型研究具有重要的学术与产业意义。
为什么重要
- LAION-BVD 将开放视频数据规模提升到千万小时量级，为视频、音频、图像联合预训练提供了新的数据基础。
- 与已有相关卡片中的 TikStance（针对 TikTok 政治评论的小规模多模态层次数据集）等专用数据集不同，LAION-BVD 面向通用多模态预训练，不局限于特定平台或任务，而是服务于基础模型的数据需求。
与既有脉络的关系
- 本条是对开放多模态数据集的增量贡献：已有相关卡片多聚焦于特定任务（如户型图生成、医疗动作识别、TikTok 政治立场分析），而 LAION-BVD 提供的是大规模通用视频预训练数据，可与这些任务性数据集形成互补。
局限与不确定性
- 本卡片仅基于候选摘要元数据生成，arXiv 正文未能抓取；除摘要明确提到的内容外，其余细节均待核实。
- 以下信息待核实：视频 URL 的具体来源平台、去重与过滤流程、下载成功率、版权/隐私处理方式；视频和音频描述的具体合成方法；基准测评的具体数据集名称与指标数值；数据集的许可协议与访问方式。
- “图像-文本检索性能强”所对比的基线、数据集划分以及是否与标准网络图像语料进行严格控制比较，需要阅读原文确认。
可用于图书/PPT/简报的角度
- 作为案例展示多模态预训练数据规模的演进：从亿级图像-文本对到千万小时视频-音频-文本联合数据。
- 展示一个从 CommonCrawl 构建大规模开放视频数据集的工程路径：URL 收集、批量下载、场景检测、描述合成、多模态评测。
- 说明视频中的场景切换帧可作为图像-文本训练数据的替代来源，且其视觉分布与网页图文数据不同，为图像-文本数据多样性提供新视角。
原始材料
- 原始 URL：https://arxiv.org/abs/2608.24845v1
- 英文标题：LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
- 来源元数据：Track: academic；Topics: foundation-model；Manual title: LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
- Parent digest：空；Parent URL：空