知识卡片:ViTeX-Bench:高保真视频场景文本编辑基准
英文标题:ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
英文关键词:video scene text editing; benchmark; temporal consistency; edit locality; text correctness; OCR calibration; ViTeX-Edit-14B(原始材料未单列关键词,以上为标题与摘要中出现的英文术语)
原始来源:arXiv:2609.40356v1, cs.CV/cs.AI;https://arxiv.org/abs/2609.40356v1;PDF: https://arxiv.org/pdf/2609.40356v1
一句话结论
ViTeX-Bench 用 387 段真实 720p 视频、三轴 13 项指标和 ViTeX-Edit-14B 参考编辑器,把“视频场景文本编辑”的文本正确性、时序质量与局部保持难题变成一个可复现评测对象。
事件概述或研究问题
视频生成越来越真实可控,但视频编辑,尤其必须保持原始场景动态的精确局部编辑,仍较不成熟。视频场景文本编辑的目标是替换店面招牌、白板、产品标签等场景表面文字,同时保留周围内容、运动和相机动态。图像场景文本编辑已有较多研究,但视频版本要在高视觉质量、时序一致性和编辑局部性上同时达标,仍缺少专门资源和指标。现有资源缺少成对真实视频数据,通用视频编辑指标也不能直接衡量“请求的文字是否随时间保持正确”。
方法/产品要点
- ViTeX-Dataset:387 段真实世界 720p 视频,带文字区域掩码和编辑指令。其中 230 段提供经审核、流水线生成的成对编辑,用于训练;157 段构成冻结评测集。
- 三轴评测协议:围绕文字正确性、视觉与时序质量、编辑局部性三轴,共 13 项指标;每轴有一个主指标,并用 Pareto 比较权衡。材料还提到 OCR 校准、人工评测和标注敏感性分析支持分数解释。
- 基线:评估来自四个编辑家族的八个基线。
- 参考编辑器:发布 ViTeX-Edit-14B,开源参考编辑器,在成对训练集上微调,采用运动对齐的字形-视频条件化。
主要结果或产业意义
在八个基线、四个编辑家族中,准确文字、时序稳定和场景保持三者仍难同时实现。ViTeX-Edit-14B 达到 CharAcc 0.688,在所评估的视频原生编辑器中均值最高;在原始编辑器输出中,取得最低的可比 text-crop Warp(文字裁剪 Warp)。ViTeX-Bench 为研究这些权衡提供可复现基础。产业上,这类评测可关联视频广告招牌替换、产品标签更新、内容本地化、后期制作和 AR 视觉叠加等局部文字编辑场景。
为什么重要
视频局部文字编辑同时牵连 OCR、生成、时序建模和局部编辑控制,是可控视频生成中容易被通用指标漏掉的难点。与既有卡片相比:EgoPolice 关注高风险自我中心视频理解,MedPMC 关注医学多模态数据系统,MotionForesight 关注未来 3D 场景流预测;本条增量在于把“视频场景文本编辑”专门基准化,并给出三轴权衡评测和参考编辑器。
局限与不确定性
- 原始摘要未列出 13 项指标的具体定义、每轴主指标名称、八个基线的名称与配置、数据集语言/地域/授权、人工评测规模与一致性、OCR 校准细节和计算资源,待核实。
- “开源”的具体代码、权重、许可与发布位置未在材料中给出,待核实。
- CharAcc 0.688 与 Warp 结论应限定在材料所述比较范围:所评估的视频原生编辑器或原始编辑器输出,不宜直接外推为普遍 SOTA。
- 原始材料标注为 arXiv:2609.40356v1、Updated 2026-09-30;实际收录、版本与可访问性待核实。
可用于图书/PPT/简报的角度
- “三难问题”:文字正确、时序稳定、场景保持为何难以兼得。
- 评测设计:三轴协议、每轴主指标、Pareto 权衡图,避免单分数掩盖取舍。
- 数据构建:在真实成对视频稀缺时,如何用掩码、编辑指令和流水线生成配对训练数据,并冻结评测集。
- 模型方法:运动对齐字形-视频条件化如何帮助视频文字编辑。
- 产业应用:视频招牌/标签替换、本地化、广告后期、AR 叠加中的可信编辑与质量验收。
原始材料
- 标题:ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
- arXiv ID:2609.40356v1
- 作者:Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu
- 发布日期:2026-09-30T17:59:33Z(Updated 同)
- 主分类:cs.CV;分类:cs.CV, cs.AI
- Track:academic;Topics:foundation-model
- Abstract URL:https://arxiv.org/abs/2609.40356v1
- PDF URL:https://arxiv.org/pdf/2609.40356v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
视频局部文字编辑同时牵连 OCR、生成、时序建模和局部编辑控制,是可控视频生成中容易被通用指标漏掉的难点。与既有卡片相比:EgoPolice 关注高风险自我中心视频理解,MedPMC 关注医学多模态数据系统,MotionForesight 关注未来 3D 场景流预测;本条增量在于把“视频场景文本编辑”专门基准化,并给出三轴权衡评测和参考编辑器。
相关主题
对应的教材知识点
教材知识点匹配尚未完成。