AI消息速览

全球首个Agentic扩散模型LLaDA2.2:边行动边纠错,128K上下文追平自回归

事件日期 2026-07-28 · 产业观察 · 已接受

事件日期2026-07-28
信息日期2026-07-28
入库日期2026-07-28
通道产业观察
状态已接受
来源量子位

知识卡片:全球首个Agentic扩散模型LLaDA2.2:边行动边纠错,128K上下文追平自回归

一句话结论
蚂蚁集团inclusionAI团队开源的千亿参数MoE扩散语言模型LLaDA2.2,首次让扩散模型在长程Agent任务中能力接近顶尖自回归模型,且吞吐量更高(BF16平均为自回归模型的1.64倍),真正实现了“边行动边纠错”。

事件概述
LLaDA2.2是全球首个大规模Agentic扩散模型,原生支持128K上下文。它通过Levenshtein编辑范式、基于环境反馈的强化学习(L-EBPO)以及BlockRouting架构,解决了扩散模型在Agent场景中结构刚性和模型崩溃两大痛点。该模型在七大Agent基准上的平均分为53.83,与顶尖自回归模型Ling-2.6-flash(55.74)的差距缩小至2分以内,并在τ²-Bench、PinchBench、MCP-Atlas三项交互式任务上实现反超。

方法/产品要点

  • Levenshtein编辑范式:在块内支持KEEP(保留)、SUBSTITUTE(替换)、DELETE(删除)、INSERT(插入)四种原子操作,通过LCS动态对齐生成编辑标签,实现边生成边修改。
  • L-EBPO(Levenshtein Editing Evidence Lower Bound Policy Optimization):将多轮交互中的编辑决策建模为强化学习问题,使模型能根据环境反馈自主选择删除或插入操作,避免模型崩溃。
  • BlockRouting:在block层面先筛选top-C专家形成固定专家池,再内部执行Token级路由,显著降低HBM流量和通信开销,使128K长上下文工程部署成为可能。
  • 渐进式长上下文训练:原生上下文窗口从8K→64K→128K逐步扩展。

主要结果

  • 在SWE-bench Verified上,仅开启Levenshtein编辑一项即带来从35.8到44.4的绝对提升(+8.6个百分点)。
  • 七大Agent基准平均分:LLaDA 2.2-flash 53.83 vs Ling-2.6-flash 55.74,处于相近水平。
  • 效率:BF16平均吞吐量为Ling-2.6-flash的1.64倍;量化至FP8后可额外提升18.6%。
  • 原生支持128K上下文窗口。

为什么重要
LLaDA2.2证明了扩散模型在Agent赛道不是非主流选择,其速度与成本优势(尤其适用于物理世界部署和端侧设备)使其与自回归模型形成互补。这预示未来Agent系统可能采用“双轨并行”——严格流程由自回归执行,快速探索与低成本部署由扩散模型承担。对比已有相关卡片(如SIMA 2、编码智能体等),本条提供了扩散模型在Agent长程任务中首次大规模突破的增量信息,展示了从生成工具到行动架构的进化路径。

局限与不确定性

  • 在严格结构化输出和复杂代码生成中,自回归模型仍保持更成熟的能力。
  • LLaDA2.2在整体平均分上尚未完全超越顶尖自回归模型(差距小于2分),是否能在更多真实场景中稳定超越待进一步验证。
  • 关于模型训练成本、推理延迟的详细对比数据待核实(材料未提及具体时延数字)。
  • 扩散模型在Agent交互中的长期稳定性(如数百轮对话)尚未报道。

可用于图书/PPT/简报的角度

  • 技术演进:展示扩散模型从LLaDA 2.0(规模化)→2.1(边写边改)→2.2(Agent端到端)的三阶段递进。
  • 架构对比:从因果自回归到并行扩散的范式转变,以及双轨并行的未来趋势。
  • 行业案例:蚂蚁inclusionAI如何用扩散模型挑战自回归垄断,适合作为“非共识创新”案例。
  • 数据可视化:可制作七大基准得分对比柱状图、吞吐量对比图、Levenshtein编辑流程示意图。

原始材料

  • URL: https://www.qbitai.com/2026/07/461650.html
  • 技术报告: https://github.com/inclusionAI/LLaDA2.X/blob/main/LLaDA2_2_tech_report.pdf
  • GitHub: https://github.com/inclusionAI/LLaDA2.X
  • HuggingFace: https://huggingface.co/inclusionAI/LLaDA2.2-flash

英文标题
LLaDA2.2: The First Agentic Diffusion Model with Levenshtein Editing and 128K Context

英文关键词
Agentic Diffusion Model, Levenshtein Editing, L-EBPO, BlockRouting, Long-context, MoE, Ant Group, inclusionAI, LLaDA2.2