知识卡片：重新审视表格深度回归——目标函数与全局早停的极限

一句话结论

在表格数据深度回归中，经过恰当调参的 MSE 仍是难以被多数替代目标函数稳定超越的强基线，分位数损失（quantile loss）在测试的多种骨干网络上表现出一致的总体提升；但即便使用这一强目标函数，不同目标噪声区域的最佳预测性能出现在不同训练轮次，单一全局早停检查点会在异方差区域之间强加折中。

事件概述或研究问题

• 论文标题：Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping
• 作者：Danil Rudenko, Georgii Bulgakov, Nikolay Kartashev, Ivan Rubachev, Daniil Krasylnikov, Artem Babenko
• 发表信息：arXiv:2610.13909v1，2026-10-09（cs.LG 主分类，cs.AI 交叉分类）
• 研究问题：表格数据深度回归中，目标函数的选择这一自由度长期缺乏系统比较；已有替代 MSE 的方案因数据集、骨干网络与评估协议不同而难以横向对比。本文对此进行系统性重新评估，并进一步考察目标函数之外早停策略的限制。

方法/产品要点

• 系统性重新评估：在广泛收集的既有表格数据集与多种神经网络骨干网络上，对多种回归目标函数进行对比。
• 基线设定：以经过恰当调参的 MSE 作为对照基线。
• 发现的分位数损失优势：quantile loss 在测试的各骨干网络上相对 MSE 呈现一致的总体提升。
• 识别出的限制：即使采用 quantile loss，不同目标噪声水平的区域会在不同训练轮次达到各自最佳预测性能。
• 提出的扩展：一种异方差感知（heteroskedasticity-aware）的 quantile loss 扩展，使用输入依赖的标签平滑（input-dependent label smoothing）作为潜在补救手段，并在若干骨干网络上优于标准 quantile loss。
• 代码地址：https://github.com/yandex-research/tabular-regression

主要结果或产业意义

• 多数被提出的替代目标函数相对恰当调参的 MSE 基线仅带来有限或不一致的增益。
• quantile loss 是所测试目标函数中在多种骨干网络上表现出一致总体改进的方案。
• 全局早停存在结构性局限：由于不同不确定性区域的最佳停止时间不同，单一全局检查点会在这些区域间形成折中，即使目标函数本身已能表示异方差目标分布。
• 所提出的异方差感知 quantile loss 扩展在若干骨干网络上相较标准 quantile loss 有改进。
• 产业意义：为表格深度回归的目标函数选择提供了较新的实证参照，并提示在异方差数据上，早停策略（而非仅目标函数）本身可能是性能瓶颈。

为什么重要

• 表格数据深度学习近期受到较多研究关注，但回归任务的目标函数选择一直是相对被忽视的自由度；本文提供了跨数据集、跨骨干网络的系统性实证图景。
• 指出“目标函数足够强”并不足以解决问题：全局早停会在异方差区域之间引入折中，这提示工程实践中需要重新审视早停协议的设计，而非仅替换损失函数。
• 与既有关于“机器学习决策系统结构极限”的卡片脉络相比，本条聚焦于更具体的训练协议层面（早停检查点）对可达性能的限制，属于对“结构极限”主题在表格回归场景下的一个具体化实例。

局限与不确定性

• 论文摘要未给出具体数据集名称、骨干网络清单、评价指标细节及量化提升幅度，待核实。
• 摘要未说明“异方差感知 quantile loss 扩展”在多少骨干网络上、以何种幅度优于标准 quantile loss，待核实。
• 摘要未披露该扩展在异方差程度不同的数据上的表现差异，待核实。
• 代码仓库与论文的具体实验配置一致性未在摘要中说明，待核实。
• 摘要未讨论该方法在高维稀疏表格数据或极大规模数据上的可扩展性，待核实。

可用于图书/PPT/简报的角度

• “强目标函数不等于强训练协议”：以 quantile loss 优势与全局早停局限的张力作为叙事切入点。
• 目标函数选择的实证复杂性：为何替代 MSE 的方案难以稳定胜出，评估协议差异如何影响结论。
• 异方差数据上的训练动态：不同噪声区域的最佳停止时间差异如何构成全局早停的结构性约束。
• 从损失设计到训练协议设计的视角转换：输入依赖的标签平滑作为应对异方差的一种思路。
• 可复现性角度：论文提供公开代码仓库，适合作为“系统性重评估”类研究的案例。

与既有脉络的关系

• 与既有卡片“机器学习决策系统的结构极限：信息论、交互与随机动力学视角”相比，本条不再停留在抽象的信息论界限，而是给出一个可在训练协议层面观察到的具体限制：全局早停检查点在异方差区域间的折中。增量信息在于：限制不仅来自数据生成过程，也来自“单一时点检查点”这一训练协议设计。
• 与“能力门控规划”等卡片不同，本条不涉及规划或实验选择，而是聚焦监督回归中的目标函数与早停。

原始材料

• 标题：Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping
• arXiv ID：2610.13909v1
• 作者：Danil Rudenko, Georgii Bulgakov, Nikolay Kartashev, Ivan Rubachev, Daniil Krasylnikov, Artem Babenko
• 发表时间：2026-10-09T17:49:32Z（更新同）
• 主分类：cs.LG；交叉分类：cs.AI
• Abstract URL：https://arxiv.org/abs/2610.13909v1
• PDF URL：https://arxiv.org/pdf/2610.13909v1
• 代码：https://github.com/yandex-research/tabular-regression
• 关键词（英文）：tabular deep learning, regression objectives, quantile loss, early stopping, heteroskedasticity, label smoothing