知识卡片:基于合成任务先验的跨视图可复用推理预训练
一句话结论
多视图推理本身可以被预训练并在任务间复用:SIMPLE 的冻结推理骨干在不更新参数的情况下具有竞争力,经轻量适配器校准后在多数评测数据集上取得领先性能。
事件概述或研究问题
现代预训练编码器使异构视图的表示越来越可复用,但决定视图效用、组合证据的流程在每个下游任务中仍被重新学习。有关视图相关性、互补性、可靠性、缺失性的知识因此被反复丢弃,而不是跨任务迁移。本文重新表述多视图学习:不是学习固定融合函数,而是学习一种可复用的、任务条件化的推理流程。
方法/产品要点
- 提出 SIMPLE:一种基于任务先验拟合的多视图上下文学习器(prior-fitted multi-view in-context learner),通过在小型标注支持集(support set)上条件化来预测查询标签。
- 构建可控的“合成任务先验”:在嵌入空间中生成多样的支持-查询任务片段(support-query episodes),覆盖不同类别结构、共享因素与视图特有因素、表示几何、跨视图依赖、可靠性水平、缺失模式和分布偏移。
- 采用分层推理架构:在视图内、跨视图、以及支持集与查询样本之间进行推理。
- SIMPLE 的全称未在摘要中给出(待核实)。
主要结果或产业意义
- 在多视图与多组学(multi-view and multi-omics)基准上进行评估。
- SIMPLE 的冻结变体在不更新推理骨干的情况下取得有竞争力的性能;轻量适配器校准(lightweight adapter calibration)在多数被评估数据集上取得领先性能。
- 冻结(frozen)、单样本(one-shot)和缺失视图(missing-view)设置下的结果共同支持核心假设:多视图推理本身可以被预训练和复用。
- 潜在产业意义:在多模态、多组学等场景中,可减少每个下游任务重复学习视图关系和融合规则的负担,便于快速适配新的视图组合。
为什么重要
传统多视图学习通常为每个任务重新学习视图价值判断和融合方式。SIMPLE 将“推理流程”本身视为可预训练、可迁移的对象,并利用合成任务先验弥补真实世界数据集在视图配置和任务结构上的覆盖不足。这为多视图、多模态、多组学建模提供了新的范式:推理能力可以跨任务复用,而不是只复用于表示层。
局限与不确定性
- 本卡片仅基于 arXiv 摘要页;具体数据集名称、基准数字、消融细节、适配器实现方式均未在摘要中呈现(待核实)。
- “合成任务先验”的具体构造方式及其与现实任务的分布差异需要阅读原文确认(待核实)。
- SIMPLE 的缩写全称、分层架构参数、训练流程细节未在摘要中说明(待核实)。
- 原文未提供期刊/会议发表信息,也未提及代码与数据开放情况(待核实)。
可用于图书/PPT/简报的角度
- 多视图学习新范式:从“固定融合函数”到“可复用推理流程”。
- 为什么需要合成任务先验:真实世界视图配置覆盖有限,需要可控生成任务来预训练推理。
- “推理也能被预训练”:冻结推理骨干仍有竞争力,轻量校准即可适配新任务。
英文关键词
multi-view learning; in-context learning; synthetic task prior; reusable inference; multi-omics
原始材料
- 英文标题:Pretraining Reusable Inference Across Views with Synthetic Task Priors
- 作者:Jielong Lu, Zhihao Wu, Jiajun Yu, Zhaoliang Chen, Haishuai Wang
- arXiv ID:2608.19115v1
- 发表/更新:2026-08-19T17:10:03Z
- 分类:Primary cs.LG; Categories cs.LG, cs.MM
- 元数据:Track: academic; Topics: foundation-model
- URL:https://arxiv.org/abs/2608.19115v1
- PDF URL:https://arxiv.org/pdf/2608.19115v1