AI消息速览

循环流式推理(Thinking with Looped Flows)

事件日期 2026-09-10 · 学术前沿 · 已接受

事件日期2026-09-10
信息日期2026-09-10
入库日期2026-09-12
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:循环流式推理(Thinking with Looped Flows)

英文标题:Thinking with Looped Flows

一句话结论

Looped Flows 提出用局部去噪目标训练循环模型,并把推理形式化为概率流速度积分;摘要称其在六个推理基准上整体优于此前 SOTA 循环模型,ARC-AGI-1 测试准确率 58.8%、ARC-AGI-2 为 12.2%。

事件概述或研究问题

人类和机器常通过“花更多计算时间”来解决更难问题。深度学习中,looped models 在推理时反复更新隐藏状态来实现这一思路。但实际训练通常只反传一步或少数几步,导致早期更新很难被训练成能支持后续更新的状态。本文研究问题是:能否在梯度只覆盖少量更新的情况下,训练出可跨时间传递有用计算的循环状态,并在推理时通过更多计算解决更难问题、产生多个有效预测。

方法/产品要点

  • 提出 looped flows:用局部去噪目标训练循环,绕开“只反传少数更新”的限制。
  • 通过逐步降低噪声水平和共享噪声,在多个去噪目标之间施加时间关联。
  • 这种时间关联激励模型学习能随时间传递有用计算的循环状态,即使梯度只覆盖少量更新。
  • 推理阶段被表述为:对由学习到的去噪器参数化的概率流速度进行积分,并与循环状态耦合。
  • 通过更细的时间网格增加推理计算量,以求解更难问题。
  • 不同初始噪声样本可产生多个有效预测,支持多解场景。

主要结果或产业意义

  • 在六个推理基准上评估,其中包括两个多解基准。
  • 摘要称 looped flows 整体上优于此前 state-of-the-art 的 looped models。
  • 报告 ARC-AGI-1 测试准确率 58.8%,ARC-AGI-2 测试准确率 12.2%。
  • 产业意义在摘要中未直接讨论;可谨慎理解为:为“推理时计算扩展”提供了一条内部循环/概率流积分路径,并可能服务答案不唯一的多解任务。具体部署成本、延迟、硬件收益、相对基线提升幅度等,待核实。

为什么重要

  • 它直接针对循环模型的训练瓶颈:只反传少数更新时,早期更新难以支持未来计算。
  • 它尝试用局部去噪目标替代长程反向传播依赖,使循环状态更可能承载跨时间的计算。
  • 它把推理计算扩展具体化为“更细时间网格”,并把多解能力归因于不同初始噪声样本。
  • 与外部工具调用式推理时计算不同,本文路线发生在模型内部循环状态与概率流积分中;两者关系与适用边界待核实。
  • 本条增量:在既有“推理时计算”讨论中,补充了 looped models 的训练与推理机制,并用 ARC-AGI 数字展示效果。

与既有脉络的关系

  • 与“OmniReasoner”“视觉工具使用的幻觉”等卡片相比,同属推理时额外计算主题,但本文不是外部工具调用或视觉工具使用,而是内部循环状态与概率流积分;工具调用因果性等问题不直接适用于本文。
  • 与“基于归一化流的冗余参数无似然推断”卡片相比,均出现 flow、概率流、去噪等邻近术语,但任务设定不同;是否存在直接方法联系,摘要不足以确认,待核实。
  • 若放入“推理时计算”脉络,本条可视为从外部工具调用向内部递归/流式计算延伸的一条新分支。

局限与不确定性

  • 本卡片仅依据 arXiv 摘要与元数据,未依据 PDF 正文;方法数学形式、训练数据、模型规模、计算预算等细节待核实。
  • 噪声调度、共享噪声、时间网格、局部去噪目标的具体实现与消融实验,摘要未提供,待核实。
  • 六个基准的名称、两个多解基准是什么、基线配置、是否所有基准均优、提升幅度与统计显著性,待核实。
  • ARC-AGI 分数是否与同口径基线可比、是否使用额外训练数据或测试时技巧,待核实。
  • 是否适用于语言、多模态、机器人等更广任务,摘要未说明,待核实。
  • 论文发表状态为 arXiv v1,是否经过同行评审或正式发表,待核实。

可用于图书/PPT/简报的角度

  • “用时间换计算”:从循环模型到概率流积分,讲清推理时计算扩展的一种内部机制。
  • “循环模型为什么难训练”:用“只反传少数更新”解释信用分配瓶颈。
  • “局部去噪作为训练信号”:说明如何不依赖长程反传,让早期状态支持后续计算。
  • “多解推理”:从不同初始噪声样本得到多个有效预测。
  • “推理时计算的两条路线”:外部工具调用 vs 内部循环/流式积分,可与既有卡片做对比。
  • “ARC-AGI 数字怎么讲”:可引用 58.8% 与 12.2%,但必须标注摘要口径,并提示基线细节待核实。

原始材料

  • 英文标题:Thinking with Looped Flows
  • 英文关键词:looped models; looped flows; local denoising objectives; probability flow; recurrent states; reasoning benchmarks; ARC-AGI-1; ARC-AGI-2; foundation-model
  • 作者:Ayhan Suleymanzade, Chanhyuk Lee, Floor Eijkelboom, Nicholas M. Boffi, İsmail İlkan Ceylan, Jinwoo Kim
  • arXiv ID:2609.11801v1
  • Published / Updated:2026-09-10T16:52:54Z
  • Primary category:cs.LG
  • Categories:cs.LG, cs.AI
  • Track:academic
  • Topics:foundation-model
  • Abstract URL:https://arxiv.org/abs/2609.11801v1
  • PDF URL:https://arxiv.org/pdf/2609.11801v1
  • 备注:以上内容来自提供的来源材料;未引用 PDF 正文,方法细节与实验设置待核实。

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

它直接针对循环模型的训练瓶颈:只反传少数更新时,早期更新难以支持未来计算。 它尝试用局部去噪目标替代长程反向传播依赖,使循环状态更可能承载跨时间的计算。 它把推理计算扩展具体化为“更细时间网格”,并把多解能力归因于不同初始噪声样本。 与外部工具调用式推理时计算不同,本文路线发生在模型内部循环状态与概率流积分中;两者关系与适用边界待核实。 本条增量:在既有“…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。