知识卡片：FlowMimic：基于像素对扭曲流场的免掩码视觉编辑与生成

一句话结论

FlowMimic 提出一种像素对时间扭曲流场，可从图像编辑样本实时生成对应的视频编辑训练数据，并利用模态模仿损失使单一模型同时支持图像与视频的生成与编辑，无需人工掩码或外部辅助模型。

事件概述或研究问题

当前视频编辑数据的收集依赖人工掩码标注、基于 I2V 模型和 ControlNet 的配对合成、VLM 质量过滤等耗时流程，导致编辑任务多样性远不如图像编辑模型。该工作旨在将生成与编辑能力统一到单个模型中，并让模型内化语言指令的定位能力，而非依赖外部 MLLM 或推理时显式提供掩码序列。

方法/产品要点

• 像素对时间扭曲流场：直接从图像编辑样本实时生成对应的视频编辑样本，无需逐帧掩码。
• 模态模仿损失：将图像视为视频的一种特例，设计生成损失和编辑损失，使两种模态的输出分布相互对齐。
• 感知相关任务：引入指代表达分割等任务，配合编辑区域感知的潜在层损失和注意力层损失，使模型自动学习定位编辑区域。

主要结果或产业意义

论文在多种视频编辑任务上验证了仅使用该方法生成的数据即可训练模型进行视频编辑，无需真实视频编辑数据。该方案可大幅降低视频编辑数据的获取成本，并扩展可支持的编辑任务类型，有望推动视频编辑模型向图像编辑模型那样的多样性发展。

为什么重要

现有视频编辑数据生成方法（掩码标注 + I2V 合成 + VLM 过滤）成本高、误差累积且任务可扩展性差。FlowMimic 提出的在线数据生成方式不仅免去人工掩码，还通过模态模仿实现图像与视频能力的统一，是对当前视频编辑基础模型构建范式的重要增量（区别于已有卡片中的稠密预测、稀疏注意力或物理一致性工作）。

局限与不确定性

• 论文内容仅基于摘要，具体实验设置、定量指标、与基线方法的对比效果待核实。
• 像素对扭曲流场在复杂运动场景下的鲁棒性、生成样本的质量是否足够支持高保真编辑尚未在摘要中明确。
• 模态模仿损失是否会导致图像与视频模态间的能力折中，仍需进一步实验确认。

可用于图书/PPT/简报的角度

• “免掩码”视频编辑数据生成的新思路：一条流水线同时产出训练数据与模型。
• 图像与视频统一建模：将图像视为视频的特例，通过模仿损失对齐两种模态。
• 语言驱动的视觉编辑：让模型内部学会定位编辑区域，摆脱外部掩码依赖。

原始材料

• 英文标题：FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry
• 英文关键词：FlowMimic, Mask-free Visual Editing, Pixel-pair Warped Flow Field, Modality Mimicry, Video Editing Data Generation
• 来源：https://arxiv.org/abs/2607.18227v1