知识卡片：从随机特征到全可训练网络的相变

一句话结论

该论文量化了部分可训练神经网络中“随机特征→全可训练”的相变规律：在多项式谱衰减与杠杆兼容假设下，给出了二层网络平方 $L_2$ 逼近率的显式界，并指出少量可训练参数即可捕获大部分逼近收益。

研究问题

科学计算需要构造既精确又可计算的逼近空间。部分可训练网络介于固定随机特征与全自适应表示之间，但“可训练比例 $P$ 增大时逼近能力如何变化”缺乏定量刻画。论文要回答：逼近界是否随 $P$ 呈现相变式行为，训练误差是否也有类似表现。

方法/产品要点

• 设定：宽度为 $m$、可训练比例为 $P$ 的二层网络；目标函数位于再生核希尔伯特空间（RKHS）单位球内。
• 假设：多项式谱衰减（指数 $\alpha>1$）与杠杆兼容（leverage compatibility）。
• 逼近率：平方 $L_2$ 误差为 $\mathcal{O}((\kappa_P\log(m/\delta)/m)^\alpha)$，其中 $\kappa_P=(P/\kappa_1^+(1-P)/\kappa_0^)^{-1}$；界以至少 $1-\delta$ 的概率一致成立。
• 常数含义：$\kappa_0^$、$\kappa_1^$ 分别刻画固定组与可训练组相对目标 RKHS 的采样失配。
• 具体验证：对 $d$ 维球面 biased-ReLU 特征，取 $\alpha=(d+2)/(d-1)$；初始化尺度 $\tau\ge1$ 时 $\kappa_0^=4\sqrt{2}\tau(d+1)/d$，岭杠杆采样下 $\kappa_1^=1$。

主要结果或产业意义

• 相变模式：逼近界随 $P$ 先快速平滑提升，后收益递减；初始化失配越大，转变越陡峭。
• 数值示例：$d=5$、$\tau=10$ 时，约 $4.1%$ 的可训练比例即可获得 $P=0$ 到 $P=1$ 逼近界下降量的 $90%$。
• 结构示例：三层结构化例子说明少量可训练首层神经元可通过非线性复合利用固定的下游模块。
• 实验观察：最多 15 层的网络中，训练误差呈现类似的相变现象。

为什么重要

若少量可训练参数就能逼近全可训练网络的收益，则可在保持表达力的同时显著降低训练与存储开销，为科学计算中的高效网络设计提供理论依据；相变视角也把“随机特征 vs 全训练”的经验取舍转化为可量化的比例选择问题。

局限与不确定性

• 理论界主要针对二层网络与特定谱衰减、杠杆兼容假设，多层与更一般数据分布下的严格结论待核实。
• 训练误差中的相变仅为数值观察，尚无与逼近界同等严格的定理支撑。
• 常数 $\kappa_0^$、$\kappa_1^$ 在实际任务中的可估计性与紧致性待核实。
• 论文发表于 arXiv（math.NA），同行评审状态待核实。

可用于图书/PPT/简报的角度

• “少即是多”：用相变曲线说明小比例可训练参数的高性价比。
• 随机特征与全微调的连续谱：把两种范式放在同一坐标轴上讨论。
• 理论界 → 数值相变 → 结构示例的三段式叙事，适合方法章节配图。
• 科学计算中“精度—可计算性”权衡的理论化案例。

与既有脉络的关系

既有卡片多聚焦具体分割框架、数字孪生提案与奖励设计，本条提供的是网络可训练比例与逼近率之间的理论刻画，属于基础模型训练范式的理论侧增量，与上述应用向卡片无重复事实。

原始材料

• 标题：Phase Transition from Random Features to Fully Trainable Networks
• 作者：Xin He, Huan Lao, Xiliang Lu, Shijun Zhang
• 发布：2026-10-22（arXiv:2610.31663v1，math.NA；交叉 cs.LG, math.ST, stat.ML）
• 摘要页：https://arxiv.org/abs/2610.31663v1
• PDF：https://arxiv.org/pdf/2610.31663v1
• 关键词：partially trainable networks; random features; approximation rate; phase transition; reproducing kernel Hilbert space; leverage compatibility