知识卡片：神经网络拓扑表达力的构造性界

一句话结论

该研究提出用神经网络输出空间 ( \beta(\Phi(X)) ) 的 Betti 数（而非决策边界的 Betti 数）来刻画拓扑表达力，为 ReLU 网络构造性地给出了表达任意连通 Betti 数序列的架构上界，并针对球面乘积与球面同胚空间给出更紧的界与猜想。

事件概述或研究问题

• 论文标题：Constructive Bounds for the Topological Expressivity of Neural Networks
• 作者：Kosio Beshkov
• arXiv ID：2610.13931v1（学科分类：math.AT 主分类，cs.LG 交叉）
• 发表/更新：2026-10-09T17:55:33Z（同日更新）
• 核心研究问题：如何衡量神经网络在回归等不涉及决策边界的问题上的“拓扑表达力”。
• 作者指出：传统“拓扑表达力”常以决策边界的 Betti 数 ( \beta(\Phi^{-1}(0)) ) 表述，虽在二分类中流行，但对回归及其他无决策边界的问题不够有用。
• 替代方案：改为研究网络输出 ( \beta(\Phi(X)) ) 的 Betti 数。

方法/产品要点

• 研究对象为 ReLU 网络，用三元组形式表示架构（输入维度、隐藏层宽度、输出维度）。
• 构造方法一（楔和）：证明一个 ReLU 网络，其架构为 [ \left(d,\ \sum_{k=1}^{d}\beta_k(3k+2),\ \sum_{k=1}^{d}\beta_k(k+1)\right) ] 可以表达与球面楔和（wedge sums of spheres）同伦等价的空间，且可实现任意 Betti 数。
• 构造方法二（球面乘积）：通过构造与 (N ) 个球面之积同伦等价的空间（球面维度分别为 ( d_1,\dots,d_N )），获得更优的架构界 [ \left(\sum_{n=1}^{N} d_n,\ 3\sum_{n=1}^{N} d_n + 2N,\ \sum_{n=1}^{N} d_n + N\right) ] 其对应 Betti 数由多项式 ( \prod_n (1+x^{d_n}) ) 给出。
• 最后提出一个更强的紧界猜想：对与球面同胚的空间，架构界可达到 ( (d, d+1, d+1) )。

主要结果或产业意义

• 对任意连通（( \beta_0 = 1 )）的 Betti 数序列，楔和构造给出了一组通用上界。
• 球面乘积构造在特定 Betti 数分布下显著改善了上述上界。
• 猜想若成立，将把球面同胚情形的架构需求压缩到接近最小规模 ( (d, d+1, d+1) )，但目前仅为猜想，尚待证明。
• 从产业角度看，这类构造性界为“需要网络输出具有指定拓扑结构（如孔洞数量、连通分支数）”的任务提供了架构设计的理论参考，但材料未给出具体应用实验或基准。

为什么重要

• 将拓扑表达力的研究对象从“决策边界”转向“网络输出”，使该度量可覆盖回归等无决策边界问题，扩展了拓扑表达力分析的适用场景。
• 以 Betti 数为目标，把“网络能表达什么形状的拓扑空间”转化为可计算的架构规模上界，连接了代数拓扑与网络容量理论。
• 与已有卡片脉络的关系：本卡片关注网络输出空间的拓扑表达力与构造性架构界；此前的“输入凸神经网络与 Zonotope 上 Lp 范数最大化的参数化复杂性”同样讨论网络结构的理论性质，但后者聚焦凸性与范数最大化的计算复杂性，本条则聚焦 Betti 数与同伦类型的可实现性，二者不重复。其余已有卡片（有限体积残差训练 GNN、奇环香农容量）主题不同，无直接延续关系。

局限与不确定性

• 论文给出的上界基于构造性证明，但未提及这些构造在实际训练中是否可达（即存在性证明与可学习性之间的差距），待核实。
• 球面同胚情形的 ( (d, d+1, d+1) ) 仅为猜想，未被证明，待核实。
• 材料未包含实验验证、数据集或与基线方法的定量比较，待核实。
• 材料未讨论该度量在高维或非连通情形下的计算可行性，待核实。

可用于图书/PPT/简报的角度

• “从决策边界到输出空间”：拓扑表达力度量的范式转换。
• 用 Betti 数讲故事：如何用“孔洞数量”描述神经网络能表达的形状。
• 构造性界 vs 紧界：存在性证明与最优性猜想之间的张力。
• 架构三元组 ( (d, \text{width}, \text{out}) ) 与拓扑复杂度的对应关系。
• 回归任务为何需要新的表达力度量。

原始材料

• Fetched title: Constructive Bounds for the Topological Expressivity of Neural Networks
• arXiv ID: 2610.13931v1
• Authors: Kosio Beshkov
• Published/Updated: 2026-10-09T17:55:33Z
• Primary category: math.AT；Categories: math.AT, cs.LG
• Abstract URL: https://arxiv.org/abs/2610.13931v1
• PDF URL: https://arxiv.org/pdf/2610.13931v1
• 关键词（英文原始）：topological expressivity, Betti numbers, ReLU networks, homotopy equivalence, wedge sums of spheres, products of spheres