知识卡片：去噪分层表示：面向语言建模的联合连续扩散

一句话结论

H-CDLM 把 token 与由预训练 token embedding 聚类得到的粗粒度簇作为多种语义粒度模态并行去噪，在 CoBit 上得到 H-CoBit、在 FLM 上得到 H-FLM，摘要报告其在 LM1B、OWT、GSM8K 等基准上相对基线有提升。

事件概述或研究问题

• 英文标题：Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
• 作者：Mathias Ollu, Nikos Komodakis
• 发布/更新：2026-10-06T17:38:19Z
• 研究问题：连续扩散和流匹配语言模型近期因 token 表示与扩散/流空间设计取得进展；本文提出 H-CDLM，试图以最小计算和参数开销进一步改进连续扩散语言模型。摘要称其借鉴离散 DLM 与连续图像扩散中的联合扩散，并行扩散多模态。

方法/产品要点

• H-CDLMs 被描述为一个简单框架，作者称其计算和参数开销最小；具体开销数值待核实。
• 并行扩散的模态表示不同语义粒度：token 本身，以及对预训练 token embedding 做聚类得到的更粗簇。
• 提供通用设置，允许每个模态使用独立采样器和日程，以增强模态间交互。
• 实例化：CoBit -> H-CoBit；FLM -> H-FLM。
• 代码将公开：https://github.com/matol-16/HCDLM.git（实际可用性待核实）。

主要结果或产业意义

• 在 dataset entropy 下，H-CoBit 改善 MAUVE；生成困惑度 GenPPL 为 LM1B 49.4、OWT 50.4，比基线提升 24.2 和 20.7 点，并超过规模可比的离散 DLM。MAUVE 具体值未在摘要给出，待核实。
• GSM8K 上达到 27.4% 准确率，摘要称超过此前的连续扩散和基于流的模型。具体评估设置与基线列表待核实。
• H-CDLM 应用于 FLM 得到 H-FLM，报告一致增益，作者称框架可泛化到不同连续生成范式。
• 产业意义：材料未提供产业落地数据，待核实；可确认的是作者将方法定位为轻量增强，并计划公开代码。

为什么重要

• 如果结果可复现，它提供了一条把分层/多粒度表示引入连续扩散语言建模的路径，并用生成指标和推理基准同时评估。
• 与既有脉络的关系：已有“分层连续扩散语言模型（HC-DLM）”卡片可能与本条指向同一工作或相近脉络。本条材料补充了 arXiv 编号、作者、H-CoBit/H-FLM 实例化，以及 LM1B/OWT/GSM8K 的具体结果；已有卡片提到的 Sudoku、Countdown 等基准与本摘要覆盖是否一致，待核实。
• 摘要称 H-CoBit 超过规模可比的离散 DLM，这对连续扩散/流匹配路线与离散 DLM 的对比有参考价值。

局限与不确定性

• 仅依据 arXiv 摘要与元数据整理，未读全文；训练细节、模型规模、聚类方法、每模态采样器/日程细节、数据集熵定义、评估协议和统计显著性均待核实。
• “minimal compute and parameter overhead”的具体开销待核实。
• MAUVE 的具体数值待核实。
• 代码“将公开”与实际可用性、许可证、复现难度待核实。
• 与已有 HC-DLM 卡片的事实对应关系、命名差异（HC-DLM vs H-CDLM）和基准差异待核实。

可用于图书/PPT/简报的角度

• 多粒度联合扩散：把图像扩散中的联合扩散思路迁移到语言建模。
• 轻量插件式增强：H-CoBit 与 H-FLM 如何挂在 CoBit、FLM 等连续生成基座上。
• 生成质量与推理能力双线评估：MAUVE、GenPPL 与 GSM8K。
• 连续扩散/流匹配 vs 离散扩散语言模型：是否在可比规模下追平或超过。
• 连续扩散语言模型脉络串联：可与 AURORA-LM、HC-DLM 等卡片并列讨论，但避免重复同一事实。
• 开源与可复现性：代码公开承诺对社区验证的意义。

原始材料

• 英文标题：Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
• 英文关键词：Diffusion Language Models (DLMs); Continuous Diffusion; Flow Matching; Joint Diffusion; Hierarchical Continuous Diffusion Language Models (H-CDLMs); H-CoBit; H-FLM; Generative Perplexity (GenPPL); MAUVE; GSM8K
• arXiv ID: 2610.08738v1
• Authors: Mathias Ollu, Nikos Komodakis
• Published/Updated: 2026-10-06T17:38:19Z
• Primary category: cs.CL
• Categories: cs.CL, cs.LG
• Abstract URL: https://arxiv.org/abs/2610.08738v1
• PDF URL: https://arxiv.org/pdf/2610.08738v1
• Code: https://github.com/matol-16/HCDLM.git
• Track: academic
• Topics: foundation-model
• 来源说明：本卡片依据 arXiv 摘要与元数据整理；无法从材料确认之处已标注“待核实”。