AI消息速览

ViTeX-Bench:高保真视频场景文本编辑基准

事件日期 2026-09-30 · 学术前沿 · 已接受

事件日期2026-09-30
信息日期2026-09-30
入库日期2026-10-01
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:ViTeX-Bench:高保真视频场景文本编辑基准

英文标题:ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
英文关键词:video scene text editing; benchmark; temporal consistency; edit locality; text correctness; OCR calibration; ViTeX-Edit-14B(原始材料未单列关键词,以上为标题与摘要中出现的英文术语)
原始来源:arXiv:2609.40356v1, cs.CV/cs.AI;https://arxiv.org/abs/2609.40356v1;PDF: https://arxiv.org/pdf/2609.40356v1

一句话结论

ViTeX-Bench 用 387 段真实 720p 视频、三轴 13 项指标和 ViTeX-Edit-14B 参考编辑器,把“视频场景文本编辑”的文本正确性、时序质量与局部保持难题变成一个可复现评测对象。

事件概述或研究问题

视频生成越来越真实可控,但视频编辑,尤其必须保持原始场景动态的精确局部编辑,仍较不成熟。视频场景文本编辑的目标是替换店面招牌、白板、产品标签等场景表面文字,同时保留周围内容、运动和相机动态。图像场景文本编辑已有较多研究,但视频版本要在高视觉质量、时序一致性和编辑局部性上同时达标,仍缺少专门资源和指标。现有资源缺少成对真实视频数据,通用视频编辑指标也不能直接衡量“请求的文字是否随时间保持正确”。

方法/产品要点

  • ViTeX-Dataset:387 段真实世界 720p 视频,带文字区域掩码和编辑指令。其中 230 段提供经审核、流水线生成的成对编辑,用于训练;157 段构成冻结评测集。
  • 三轴评测协议:围绕文字正确性、视觉与时序质量、编辑局部性三轴,共 13 项指标;每轴有一个主指标,并用 Pareto 比较权衡。材料还提到 OCR 校准、人工评测和标注敏感性分析支持分数解释。
  • 基线:评估来自四个编辑家族的八个基线。
  • 参考编辑器:发布 ViTeX-Edit-14B,开源参考编辑器,在成对训练集上微调,采用运动对齐的字形-视频条件化。

主要结果或产业意义

在八个基线、四个编辑家族中,准确文字、时序稳定和场景保持三者仍难同时实现。ViTeX-Edit-14B 达到 CharAcc 0.688,在所评估的视频原生编辑器中均值最高;在原始编辑器输出中,取得最低的可比 text-crop Warp(文字裁剪 Warp)。ViTeX-Bench 为研究这些权衡提供可复现基础。产业上,这类评测可关联视频广告招牌替换、产品标签更新、内容本地化、后期制作和 AR 视觉叠加等局部文字编辑场景。

为什么重要

视频局部文字编辑同时牵连 OCR、生成、时序建模和局部编辑控制,是可控视频生成中容易被通用指标漏掉的难点。与既有卡片相比:EgoPolice 关注高风险自我中心视频理解,MedPMC 关注医学多模态数据系统,MotionForesight 关注未来 3D 场景流预测;本条增量在于把“视频场景文本编辑”专门基准化,并给出三轴权衡评测和参考编辑器。

局限与不确定性

  • 原始摘要未列出 13 项指标的具体定义、每轴主指标名称、八个基线的名称与配置、数据集语言/地域/授权、人工评测规模与一致性、OCR 校准细节和计算资源,待核实。
  • “开源”的具体代码、权重、许可与发布位置未在材料中给出,待核实。
  • CharAcc 0.688 与 Warp 结论应限定在材料所述比较范围:所评估的视频原生编辑器或原始编辑器输出,不宜直接外推为普遍 SOTA。
  • 原始材料标注为 arXiv:2609.40356v1、Updated 2026-09-30;实际收录、版本与可访问性待核实。

可用于图书/PPT/简报的角度

  • “三难问题”:文字正确、时序稳定、场景保持为何难以兼得。
  • 评测设计:三轴协议、每轴主指标、Pareto 权衡图,避免单分数掩盖取舍。
  • 数据构建:在真实成对视频稀缺时,如何用掩码、编辑指令和流水线生成配对训练数据,并冻结评测集。
  • 模型方法:运动对齐字形-视频条件化如何帮助视频文字编辑。
  • 产业应用:视频招牌/标签替换、本地化、广告后期、AR 叠加中的可信编辑与质量验收。

原始材料

  • 标题:ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
  • arXiv ID:2609.40356v1
  • 作者:Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu
  • 发布日期:2026-09-30T17:59:33Z(Updated 同)
  • 主分类:cs.CV;分类:cs.CV, cs.AI
  • Track:academic;Topics:foundation-model
  • Abstract URL:https://arxiv.org/abs/2609.40356v1
  • PDF URL:https://arxiv.org/pdf/2609.40356v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

视频局部文字编辑同时牵连 OCR、生成、时序建模和局部编辑控制,是可控视频生成中容易被通用指标漏掉的难点。与既有卡片相比:EgoPolice 关注高风险自我中心视频理解,MedPMC 关注医学多模态数据系统,MotionForesight 关注未来 3D 场景流预测;本条增量在于把“视频场景文本编辑”专门基准化,并给出三轴权衡评测和参考编辑器。

相关主题

对应的教材知识点

教材知识点匹配尚未完成。