知识卡片：Marformer——预测缺失数据分布的 Transformer

一句话结论

Marformer 是一种直接预测缺失变量条件边缘分布的 Transformer，无需建模完整联合分布或数据生成过程的领域知识，在多个合成与真实数据集上匹配或超过经典缺失数据处理方法，并比生成式基线显著更快。

事件概述或研究问题

现实决策常在不完全信息下做出：仅观测到部分随机变量，需要推断其余变量。缺失变量上的条件边缘分布是计算 Bayes 风险与信息价值（Value of Information, VOI，即在决策前再获取一次观测的期望收益）的关键要素。本文提出的 Marformer 旨在给定任意已观测值集合时，直接预测这些条件边缘分布。

方法/产品要点

• 受 BERT 从上下文预测缺失词启发：Marformer 为每个分布 $p(X_i)$ 构造一个隐藏向量表示，并通过注意力机制参考其他分布 $p(X_j)$ 迭代精炼该表示。
• 与生成式方法不同：不建模完整联合分布，不需要数据生成过程的领域知识，所有预测在单次前向传播中完成。

主要结果或产业意义

• 在三个带缺失数据的合成域上评估：贝叶斯网络、离散化多元高斯、结构化标注数据。
• Marformer 能匹配或优于经典缺失数据方法，即使这些经典方法被赋予了生成合成数据的真实模型族与先验。
• 在一个真实标注数据集上，Marformer 在最大训练规模下优于所评估的基线。
• 在合成与真实两种情形下，Marformer 均比所评估的生成式基线显著更快。

为什么重要

条件边缘分布是 Bayes 风险与 VOI 计算的核心输入，直接关系到“是否值得再采集一个观测”的决策。Marformer 提供了一条无需完整联合建模、无需领域知识、单次前向即可得到条件边缘的路径；在与经典方法（即便赋予其真实模型族先验）的对比中仍具竞争力，且速度优势明显，这对需要频繁评估 VOI 的决策场景具有实用价值。

局限与不确定性

• 真实数据实验仅在“最大训练规模”下报告优于基线，其他训练规模下的表现待核实。
• 评估覆盖域有限（三个合成域 + 一个真实标注数据集），更广泛任务上的泛化性待核实。
• 论文未在摘要中给出具体性能数值与加速倍数，具体量化结果待核实。
• 对连续变量、高维变量或复杂依赖结构的适用性待核实。

可用于图书/PPT/简报的角度

• “BERT 式思路迁移到缺失数据”：把掩码语言建模的直觉推广到条件边缘分布预测。
• 决策视角：条件边缘分布 → Bayes 风险 → 信息价值（VOI），串起“要不要再观测一次”的决策链条。
• 判别式 vs 生成式：不建模全联合分布、单次前向 vs 生成式采样，速度与精度的权衡。
• “给对手开挂仍不输”：经典方法被告知真实模型族与先验时，Marformer 仍能匹配或超越。

与既有脉络的关系

本卡片与“RecipeNet——面向配方数据的层次化 Transformer”同属 Transformer 在结构化/表格类数据上的应用，但关注点不同：RecipeNet 侧重配方数据的层次化建模与任务性能，Marformer 侧重缺失数据下的条件边缘分布预测与决策相关量（Bayes 风险、VOI）计算，且强调不建模联合分布与单次前向的速度优势。两者在“用 Transformer 处理非文本结构化数据”这一大方向上是并列的增量，而非同一事实的重复。

原始材料

• Title: Marformer: A Transformer for Predicting Missing Data Distributions
• Authors: Prabhav Singh, Xiheng Tom Wang, Haojun Shi, Jason Eisner
• Published: 2026-10-08T17:33:16Z
• Primary category: cs.LG
• Categories: cs.LG, stat.ME
• arXiv ID: 2610.12379v1
• Abstract URL: https://arxiv.org/abs/2610.12379v1
• PDF URL: https://arxiv.org/pdf/2610.12379v1
• Keywords: conditional marginals, missing data, Transformer, Value of Information, Bayes risk, attention