知识卡片：无需语言预训练的文本到图像生成建模

一句话结论

Halcyon 系列模型证明，不依赖互联网规模的语言预训练、完全从零开始训练，也能获得强文本到图像（T2I）生成能力，并在更低预训练算力下优于若干对比模型。

事件概述或研究问题

现代 T2I 系统通常借助互联网规模语言预训练来实现文本条件图像生成。论文提出的核心问题是：语言预训练对于强 T2I 生成是否必要。作者给出否定性证据，并发布 Halcyon 早期融合多模态自回归模型家族。

方法/产品要点

• 模型家族：Halcyon，早期融合（early-fusion）多模态自回归模型。
• 预训练数据：GPIC，包含 1 亿图文对的数据集。
• 训练方式：完全从零（from scratch）预训练，不使用语言预训练。
• 对照实验：控制实验显示，纯文本预训练并不能提升 T2I 生成。
• 附加能力：通过将 caption dropout 替换为 I2T（图像到文本）监督，Halcyon 还能学习图像描述任务，并在相同预训练预算下保持有竞争力的 T2I 生成质量。
• 开放资源：代码与模型见 https://cs.stanford.edu/~keshik/halcyon

主要结果或产业意义

• Halcyon-0.52B 在 gFD 指标上为 48.0，优于 LlamaGen-XL/8 的 63.3，且预训练算力少 18.2 倍。
• Halcyon-1.6B 在 gFD 指标上为 35.3，优于 JiT-T2I-XXL/8++ 的 41.0，且预训练算力少 275 倍。
• 产业意义：为 T2I 系统提供一条不依赖大规模语言预训练的技术路线，可能降低对语言模型预训练管线的依赖。

为什么重要

论文直接挑战“强 T2I 必须依赖互联网规模语言预训练”的常见假设，并用受控实验说明纯文本预训练对 T2I 没有增益。对希望从零构建多模态生成系统、或希望减少对语言预训练依赖的团队，这是一条值得关注的替代路径。

局限与不确定性

• gFD 的具体定义与评测细节待核实。
• 对比模型 LlamaGen-XL/8、JiT-T2I-XXL/8++ 的配置与公平性细节待核实。
• “预训练算力少 18.2×/275×”的计量口径待核实。
• 图像描述能力的定量结果待核实。
• 模型规模、训练时长、硬件配置等细节待核实。

可用于图书/PPT/简报的角度

• “语言预训练是否必要”作为多模态生成章节的争议性问题。
• 从零训练 T2I 的算力效率对比图（gFD vs. 预训练算力）。
• 早期融合多模态自回归架构的示意。
• 受控实验：纯文本预训练对 T2I 无增益的结论。
• 单一预训练预算下兼顾 T2I 与 I2T 的多任务监督设计。

与既有脉络的关系

既有卡片多关注文生图训练的低算力门槛（MiniDog）、预训练 DiT 的稠密预测复用（ReChannel）以及个性化身份调优；本条聚焦“是否需要语言预训练”这一预训练范式问题，属于对文生图训练路线的增量讨论，而非同一事实的重复。

原始材料

• 标题：Text-to-Image Generative Modeling Without Language Pretraining
• arXiv ID：2610.26863v1
• 作者：Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas, Ehsan Adeli, Jiajun Wu, Juan Carlos Niebles, Li Fei-Fei, Michael Poli
• 发布：2026-10-19
• 主分类：cs.LG；分类：cs.LG, cs.CV
• 摘要页：https://arxiv.org/abs/2610.26863v1
• PDF：https://arxiv.org/pdf/2610.26863v1
• 代码与模型：https://cs.stanford.edu/~keshik/halcyon