知识卡片：视觉生成中文本条件的缩放性质

• 英文标题：Scaling Properties of Text Conditioning in Visual Generation
• 英文关键词：text conditioning; visual generation; scaling properties; diffusion loss; structured language; GPG; ED
• 原始来源：arXiv:2607.29679v1（cs.CV）

一句话结论

视觉生成中，收敛后的扩散损失并不随自然语言提示的 token 数量缩放，而是随提示中“结构化语言”的数量缩放：与白盒似然度量 GPG 近似线性下降，与黑盒属性度量 ED 呈幂律下降。

事件概述或研究问题

本文研究视觉生成中“文本条件”的经验缩放性质。传统上，扩散损失被认为难以随自然语言提示的 token 数呈现稳定缩放规律，因此这类性质很少被直接测量。作者发现，若将语言提示中的“结构化程度”作为变量，则扩散损失表现出清晰的缩放行为。

方法/产品要点

• 提出两种互补度量来量化提示中的结构化语言：
  • 白盒似然度量 GPG；
  • 黑盒属性度量 ED。
• 基于发现的缩放性质，改进两个能力：
  • 可扩散性（diffusability）：利用从图像中提取的语义和几何标注构造结构化提示；
  • 可提示性（promptability）：训练一个“提示器（prompter）”，采用监督微调、冷启动和验证器门控的在线策略蒸馏。
• 最终系统在组合、推理和世界知识基准上评估。

主要结果或产业意义

• 在受控训练中，收敛后的扩散损失随 GPG 增大近似线性下降，随 ED 增大呈幂律下降。
• 基于这些缩放性质构建的系统，在几乎所有评估的组合、推理和世界知识基准上优于所有评测过的开放权重模型。
• 在大多数评估项上达到或超过最强闭源模型水平。

为什么重要

已有相关卡片多聚焦于视觉语言模型的准确性、认知错误或图像感知度量。本卡片的增量信息在于：它首次提出“结构化语言数量”而非“token 数量”作为扩散损失缩放的横轴，为视觉生成中的文本条件提供了可预测的缩放规律；同时把这一规律转化为具体训练方法，同时改进提示质量（diffusability）和提示生成能力（promptability），为构建更强文生图/视频系统提供了新路径。

局限与不确定性

• 摘要未给出具体基准名称、评测集列表、开放权重/闭源模型清单，均待核实。
• GPG 与 ED 的精确计算方式、适用范围和互相关系待核实。
• “结构化语言”的定义依赖语义与几何标注，相关标注来源和覆盖范围待核实。
• 该缩放规律是否适用于所有扩散模型架构、不同分辨率或视频生成，摘要中未说明，待核实。
• 是否开源代码或模型，待核实。

可用于图书/PPT/简报的角度

• “扩散损失不随 token 数缩放”这一反直觉发现，可作为视觉生成 scaling law 讨论的切入点。
• 可对比“数据量/模型参数缩放”与“提示结构化程度缩放”两种不同维度的 scaling。
• 可展示“白盒度量 + 黑盒度量”双通道评估提示质量的思路。
• 可用于说明如何从经验缩放规律反推训练策略（结构化提示 + 提示器蒸馏）。

原始材料

• 标题：Scaling Properties of Text Conditioning in Visual Generation
• 作者：Zilong Chen, Chaorui Deng, Kunchang Li, Hongyi Yuan, Haoqi Fan
• 发布时间：2026-07-31T17:56:52Z
• arXiv ID：2607.29679v1
• 分类：cs.CV
• URL：https://arxiv.org/abs/2607.29679v1
• PDF URL：https://arxiv.org/pdf/2607.29679v1