知识卡片:JEPA-Anything:跨不同世界学习预测模型
一句话结论
JEPA-Anything 提出基于正交预测因子分解(orthogonal predictive factorization, OPF)的领域无关框架,扩展 JEPA 以在视觉、生物、临床轨迹、控制、分子动力学、物理场和天气等七个领域学习预测模型,并在摘要中报告了动力学、干预预测、分子滚动、生物实验和轨道标度方面的积极结果。
事件概述或研究问题
世界建模使智能能够预测后果、指导干预并从交互中学习,但现有预测模型仍多为领域特定。本文提出的研究问题是:能否用一种共同学习原则支持跨截然不同系统的世界建模?为此,作者提出 JEPA-Anything。
方法/产品要点
- 基于 joint-embedding predictive architectures(JEPA)扩展。
- 核心为 orthogonal predictive factorization(OPF):将潜目标分解为互补因子,通过专用路径学习,并在共享预测设计中重新组合。
- 定位为 domain-agnostic framework。
- 评估覆盖七个领域:vision、biology、clinical trajectories、control、molecular dynamics、physical fields、weather。
- 实验类型包括 representation learning、intervention prediction、out-of-distribution generalization、long-horizon dynamics。
- 具体实验量包括:10 个 matched dynamics tasks;超过 1,000 个临床事件预测;四个系统上的 100-step molecular rollouts。
- 代码:https://github.com/Gen-Verse/JEPA-Anything
主要结果或产业意义
- 相对 matched JEPA baselines,在全部 10 个动力学任务上改善报告指标。
- 在 Interventional Pong 上,单干预预测误差降低 34.8%。
- 在四个系统中,取得比较方法中最低的一步和 100 步分子误差。
- 一个 factor-nominated 生物干预在 cell co-cultures、patient-derived organoids、tumor fragments 和 mice 中获得实验支持。
- latent orbital modes 恢复 Keplerian scaling exponent,拟合斜率为 -1.4991。
- 摘要认为这些结果支持跨异质世界的共同因子化预测原则,并将世界建模与干预及实验支撑的科学发现联系起来。
- 产业落地、部署成本或行业收益数据在材料中未直接展开,待核实。
为什么重要
- 若结果成立,表明世界模型可能不必按领域各自为政,而可用统一的因子化预测设计迁移到视觉、生物、临床、控制、分子、物理和天气等系统。
- 该工作把预测从离线指标推进到干预预测和湿实验验证,可能对 AI for science、实验闭环、临床轨迹建模和长期动力学预测有启示。
- 与既有相关卡片的关系:本卡片与 MetaPerch(利用元数据提升生物声学基础模型)、RTS 平滑器引导的物理神经微分模型、Transformer 学习分子基态制备同属“基础模型/科学机器学习”脉络;增量在于本条聚焦领域无关的世界模型与 OPF 因子化预测,并报告跨七领域、干预预测、生物实验和轨道标度结果,而非单一生物声学、潜状态 ODE 或分子基态任务。
局限与不确定性
- 以上主要依据摘要与元数据,完整论文细节待核实。
- 摘要未提供各领域数据集、指标定义、统计显著性、基线匹配方式、公平性和计算成本,待核实。
- 生物干预的实验设计、样本量、重复性、统计方法和独立验证情况,待核实。
- 临床事件预测的事件定义、数据来源、评估协议和临床适用性,待核实。
- 轨道模式恢复 Keplerian scaling exponent 的数据来源、拟合方法和不确定性范围,待核实。
- 代码可复现性、依赖环境、许可证与维护状态,待核实。
- arXiv 分类为 cs.CL,但研究覆盖多科学领域;该分类是否完整反映贡献,待核实。
可用于图书/PPT/简报的角度
- “一个预测原则,多个世界”:从 JEPA 到 OPF 的领域无关世界模型叙事。
- 因子分解如何帮助干预预测与 OOD 泛化。
- AI for science 的闭环:预测模型 → 干预提名 → 细胞/类器官/动物实验支持。
- 长期动力学与分子滚动:100-step molecular rollouts 与四系统误差比较。
- 潜空间物理:latent orbital modes 与 Keplerian scaling exponent。
- 与既有基础模型卡片对照:生物声学、神经微分、分子基态与本条跨领域世界模型的异同。
原始材料
- 英文标题:JEPA-Anything: Learning Predictive Models across Different Worlds
- 英文关键词:world modeling; joint-embedding predictive architectures (JEPA); orthogonal predictive factorization (OPF); domain-agnostic framework; intervention prediction; out-of-distribution generalization; long-horizon dynamics; Interventional Pong; Keplerian scaling exponent
- 作者:Taoyong Cui, Zhongyao Wang, Xinyue Xu, Weiyang Liu, Zhaochen Yu, Yuying Zhang, Qiang Gao, Mengyue Yang, Wanli Ouyang, Pheng Ann Heng, Yingcheng Wu, Zhenfei Yin, Ling Yang
- arXiv ID:2609.20800v1
- 发布/更新:2026-09-17T17:55:57Z(按材料)
- 分类:Primary category: cs.CL; Categories: cs.CL
- 摘要页:https://arxiv.org/abs/2609.20800v1
- PDF:https://arxiv.org/pdf/2609.20800v1
- 代码:https://github.com/Gen-Verse/JEPA-Anything
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
若结果成立,表明世界模型可能不必按领域各自为政,而可用统一的因子化预测设计迁移到视觉、生物、临床、控制、分子、物理和天气等系统。 该工作把预测从离线指标推进到干预预测和湿实验验证,可能对 AI for science、实验闭环、临床轨迹建模和长期动力学预测有启示。 与既有相关卡片的关系:本卡片与 MetaPerch(利用元数据提升生物声学基础模型)、RTS…
相关主题
对应的教材知识点
教材知识点匹配尚未完成。