AI消息速览

NeuronSoup:无需反向传播的异步共享神经元时序图演化

事件日期 2026-07-16 · 学术前沿 · 已接受

事件日期2026-07-16
信息日期2026-07-16
入库日期2026-07-18
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:NeuronSoup:无需反向传播的异步共享神经元时序图演化

英文标题:NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation

英文关键词:genetic algorithm; asynchronous computation; shared neurons; delay-mediated propagation; neuroevolution

一句话结论

NeuronSoup 提出一种无需反向传播、不依赖可微计算图的神经计算架构,通过遗传算法协同演化网络的拓扑、权重、延迟和连接性,在 MNIST 分类任务上达到 85.9% 测试准确率,模型仅占 115 KB。

事件概述

论文提出一种名为 NeuronSoup 的新型神经网络架构,核心是用异步、延迟介导的信号传播替代传统的逐层同步处理。网络由一组共享的神经元池构成,每条路径将连续值信号从输入神经元路由到输出神经元,经过可变数量的中间隐藏神经元。隐藏神经元被物理上共享:当两条路径经过同一个神经元时,后到达的信号会与先到达的累积状态相互作用,产生取决于信号极性和到达时间的建设性或破坏性干扰。整个架构(包括拓扑、权重、延迟和连接)通过遗传算法协同演化,基因组为 14,602 个实值基因。在 10 类 MNIST 数字分类任务上(使用冻结的 ResNet18 特征作为输入),系统演化出 204 条活跃路径,经过 266 个隐藏神经元(其中 156 个被多条路径共享,单个神经元最多参与 11 条路径),经过 10,000 代演化后达到 85.9% 测试准确率。训练后模型占用 115 KB。

方法/产品要点

  • 异步延迟传播:信号沿路径传播,延迟决定到达时间,神经元状态随时间累积,不依赖同步层结构。
  • 共享神经元干扰:多条路径共享隐藏神经元,后到信号与已有状态产生线性叠加(极性相关),实现路径间的横向交互。
  • 遗传算法优化:使用扁平实值基因组(14,602 个基因)编码整个结构,无需梯度计算,无需可微计算图。
  • 变量计算深度:每条路径的隐藏神经元数量可变,网络为每个样本自适应调整计算深度。
  • 领域泛化性:通过替换编码器和输出结构可适用于任意领域。

主要结果或产业意义

  • MNIST 分类准确率 85.9%(使用冻结 ResNet18 特征,非端到端训练)。
  • 训练后模型仅 115 KB,远小于传统深度学习模型。
  • 无需反向传播:规避了梯度消失/爆炸、可微性约束等典型问题。
  • 适用于硬件受限、低功耗场景(模型极小、无需 GPU 训练)。

为什么重要

  • 挑战了以反向传播为核心的学习范式,证明遗传算法在特定规模下能够有效演化复杂神经网络拓扑。
  • 通过共享神经元和延迟介导的异步处理,实现了路径间的自然横向交互——传统架构需要手动设计(如注意力机制或横向连接)。
  • 提供了一种无需可微计算图的替代路线,可能对新型计算硬件(如神经形态芯片)更有兼容性。

局限与不确定性

  • 当前仅在 MNIST 子任务上验证,且使用预提取的 ResNet18 特征而非原始图像,泛化到更大规模数据集(如 ImageNet)的能力待核实。
  • 85.9% 准确率与当前基于 CNN/Transformer 的 SOTA(>99%)差距显著;任务难度较低,无法直接对比。
  • 遗传算法收敛速度慢(10,000 代),计算开销可能很大;作者指出 CMA-ES 不适用于该规模,但未提供其他演化方法的比较。
  • 共享神经元干扰机制在大规模路径数下是否稳定、是否会导致状态爆炸待核实。
  • 延迟参数的具体物理意义和可调节性在论文中未详细展开。

可用于图书/PPT/简报的角度

  • 作为“无需反向传播的神经网络”案例,对比传统深度学习与演化神经网络的哲学差异。
  • 举例说明异步计算如何突破同步层结构的限制,启发新型计算范式。
  • 在低功耗/边缘计算场景中,极小模型(115 KB)可作亮点展示。
  • 强调“路径间横向交互”这一机制,对比人工设计的注意力机制与自然涌现的交互。

与既有脉络的关系

本条卡片独立,未与其他已有卡片形成直接延续或更新关系。

原始材料

  • 论文标题:NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation
  • arXiv ID:2607.15217v1
  • 作者:Subodh Kalia
  • 发表时间:2026-07-16
  • 分类:cs.NE, cs.LG
  • 原文链接:https://arxiv.org/abs/2607.15217v1
  • PDF 链接:https://arxiv.org/pdf/2607.15217v1