知识卡片：从 GNN 到 MLP 的图几何蒸馏（G^2MLP）

一句话结论

GNN-to-MLP 蒸馏若只迁移节点预测或做置信度重加权，可能忽略教师模型由图结构诱导的表示几何；G^2MLP 用 Ollivier-Ricci 曲率在训练时分配预测级与表示级监督，让学生 MLP 在推理阶段无需访问图，同时缓解稀疏图与稠密图上的两类谱失效。

事件概述或研究问题

• 英文标题：Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
• 研究任务：GNN-to-MLP distillation，即保留消息传递 GNN 教师的预测准确率，同时部署一个推理时不依赖图结构的 MLP 学生。
• 现有方法主要迁移 node-wise predictions，或使用 confidence-based reweighting。
• 摘要指出，这些方法没有明确指定：学生应在哪里保留教师由图结构诱导的几何。
• 作者称，这一遗漏会导致学生表示空间出现两种谱失效模式：
  • 稀疏图上出现 spectral underfit：学生错过教师的高能量方向，而这些方向集中在边界区域附近。
  • 稠密图上出现 spectral overfit：学生保留教师通过聚合已经压缩掉的多余方向。
• 研究问题可概括为：如何显式监督学生保留教师的图几何，并根据图结构密度差异处理不同谱失效模式。

方法/产品要点

• 提出 Graph Geometry-aware MLP（G^2MLP），一种训练时蒸馏框架。
• 动机来自 energy-weighted teacher-student alignment objective。
• 使用 Ollivier-Ricci curvature 引导蒸馏：
  • 曲率用于识别两类谱误差集中出现的位置。
  • 曲率用于在 prediction-level alignment 与 representation-level alignment 之间分配监督。
• 部署模型仍是一个标准 MLP。
• 推理阶段不需要图访问，即 graph-free inference。
• 摘要称，该方法无需架构更改即可迁移到 Graph Transformer teachers 和 link prediction。

主要结果或产业意义

• 在 node-classification benchmarks 上，G^2MLP 据摘要称一致优于 graph-free distillation baselines。
• 在稀疏图和稠密图两种 regime 下，均减少 teacher-student rank gap。
• 无需架构更改即可迁移到 Graph Transformer teachers 和 link prediction。
• 产业意义方面，若结果在正文与代码中成立，其潜在价值在于：训练时可利用图结构教师，推理时只用标准 MLP，从而简化部署栈并避免推理阶段图访问。具体效率、精度提升幅度和适用边界待核实。
• 摘要未给出具体数据集名称、评价指标、提升数值和统计显著性，待核实。

为什么重要

• 该工作把 GNN-to-MLP 蒸馏的问题从“输出模仿”推进到“表示几何/谱结构保持”。
• 它指出图密度不同，学生的失败模式不同：稀疏图偏 underfit，稠密图偏 overfit；这为蒸馏监督分配提供了结构化视角。
• 用曲率定位误差集中区域，再决定预测级与表示级监督的比例，是一种可解释的几何感知蒸馏思路。
• 与已有相关卡片中偏 LLM/KGQA、文本分类和 LLM 内部知识检索的主题不同，本条关注图模型蒸馏与无图推理；其增量信息在于显式处理教师图几何在 MLP 学生中的保留问题。

局限与不确定性

• 本卡片主要依据 arXiv 摘要与元数据生成，尚未获取或阅读全文、附录、代码与实验日志。
• 理论推导、实验设置、数据集统计、baseline 选择、评价指标、消融实验、统计显著性与可复现性均待核实。
• Ollivier-Ricci curvature 的计算复杂度、大规模图可扩展性和超参数敏感性待核实。
• 摘要中的“稀疏图/稠密图”具体如何定义、在哪些数据集上验证，待核实。
• 在异质图、动态图、归纳式/直推式设置、超大图或分布外图上的表现待核实。
• 迁移到 Graph Transformer teachers 和 link prediction 的具体实验配置与结果待核实。
• 作者、发布时间与分类信息来自抓取元数据；如 arXiv 页面有更新版本，应以最新版本为准。

可用于图书/PPT/简报的角度

• “无图推理的 MLP 学生为什么会丢图几何？”：用 spectral underfit / spectral overfit 两类失败模式讲清问题。
• “蒸馏不只是 logits”：从预测级蒸馏扩展到表示级、几何级对齐。
• “曲率作为监督分配器”：Ollivier-Ricci curvature 如何定位误差集中区域，并决定监督重点。
• “训练有图，推理无图”：适合讲解图模型压缩、服务化部署和推理去图化。
• “不同图密度，不同失败模式”：可作为图学习鲁棒性与密度差异的案例。
• “跨教师与跨任务迁移”：Graph Transformer teacher 和 link prediction 的无架构更改迁移可作为延伸讨论点，但需正文核实。

原始材料

• 英文标题：Distilling Graph Geometry: Knowledge Gap from GNNs to MLPs
• arXiv ID：2610.10520v1
• 作者：Zhewei Chen, Hao Zhu, Jiaojiao Jiang, Ahad N. Zehmakan
• Published：2026-10-07T17:56:01Z
• Updated：2026-10-07T17:56:01Z
• Primary category：cs.LG
• Categories：cs.LG
• Abstract URL：https://arxiv.org/abs/2610.10520v1
• PDF URL：https://arxiv.org/pdf/2610.10520v1
• 英文关键词（据摘要整理）：GNN-to-MLP distillation, graph geometry, spectral underfit, spectral overfit, Ollivier-Ricci curvature, graph-free inference, node classification, link prediction, Graph Transformer