OPD-V 提出将“模态平衡”本身作为特权信息,通过正/负教师构造模态平衡信任区域,筛选用于自蒸馏的同策略 token,在多模态大语言模型视觉推理后训练中一致提升性能并降低训练成本。
值得关注:它直接针对多模态推理中的“模态不平衡”这一隐形瓶颈,将问题转化为可计算、可选择的训练信号。 为 OPSD 家族提供了新的改进维度:以往方法多关注策略优化、视觉证据利用或教师选择,OPD-V 则把平衡本身当作特权信息,补…
OPD-V 提出将“模态平衡”本身作为特权信息,通过正/负教师构造模态平衡信任区域,筛选用于自蒸馏的同策略 token,在多模态大语言模型视觉推理后训练中一致提升性能并降低训练成本。
值得关注:它直接针对多模态推理中的“模态不平衡”这一隐形瓶颈,将问题转化为可计算、可选择的训练信号。 为 OPSD 家族提供了新的改进维度:以往方法多关注策略优化、视觉证据利用或教师选择,OPD-V 则把平衡本身当作特权信息,补…
在长上下文模型的继续训练语料中,仅用约 12% 的 OctoLong 跨仓库代码上下文替换传统上下文扩展语料,即可显著提升长程检索、长期状态跟踪、仓库级代码理解和下游智能体任务表现,同时增强短上下文编码场景中的 API 使用能力。
值得关注:长上下文模型对训练数据的需求正在从“更多文本”转向“更多长距离依赖关系”。 代码仓库天然具有跨文件、跨仓库、跨包的引用结构,可能比书籍和论文更易于构造富含长距离依赖的训练上下文。 与已有相关卡片脉络不同:DepthWe…
本文提出一种名为 Audio-Visual Modal Sound Field(AV-MSF)的物体级声学表示,仅凭多视角图像和少量冲击声录音即可重建物体的冲击声场,并在真实数据集上取得优于物理仿真和数据驱动基线的渲染效果。
值得关注:弥补了现有三维重建“只重视觉、忽略声学”的缺口,为场景理解增加物理交互维度。 相比物理仿真和数据驱动方法,AV-MSF 用少量录音即可重建声场,降低数据门槛。 模态参数表示具有可解释性,支持声音编辑和接触定位,为虚拟现…
MultiPathFormer 将无线信道建模从“信道张量上的掩码重建”转向“多径传播路径上的自回归预测”,以多径路径作为基础模型的预训练对象,在信道估计、波束预测、定位和视距分类等下游任务中超越基于信道张量的现有基础模型。
值得关注:这是无线基础模型领域一个不同的预训练范式:不把信道张量当作唯一“文本”,而是把物理世界中的多径传播当成自回归建模目标。 与已有相关卡片的增量信息:区别于人类行为/机器人基础模型、图基础模型等,MultiPathForm…
据论文摘要,本研究提出一种基于潜空间视频流匹配(latent video flow-matching)的大气数据同化框架:用 ERA5 再分析数据训练时间连续的大气轨迹先验,再通过后验采样吸收真实稀疏观测,从而在一个框架内完成滤波、平滑,并直接从稀疏观测生成全状态集合预报,性能与最先进的“观测到预报”模型相当。
值得关注:它将数据同化从“更新数值模式状态”的经典框架,推向“从训练好的大气轨迹先验中采样”的生成式框架,可能是范式层面的变化。 连续轨迹先验让观测信息传播到未观测帧,使滤波、平滑和预报可以共享同一套模型,而不是为每个任务单独设…
MALT 在 Muon 优化器中引入轻量的双侧对角预条件子,以近似损失曲面的曲率几何,从而降低 Muon 对曲率各向异性的敏感性;在 GPT-2 Small、Medium、Large 预训练实验中,MALT 优于 Muon,同时保持几乎相同的内存占用和墙钟时间。
值得关注:Muon 作为 AdamW 的潜在替代方案,其正交化操作只处理了梯度各向异性,而 MALT 显式引入曲率信息,增强了优化器对损失曲面几何的适应性。与已有相关卡片相比,本条聚焦优化器设计,属于底层训练算法层面的增量更新,…
摘要未提供具体性能数值,整体结论待核实。SALT 的核心思路是:在自蒸馏预训练阶段,利用弱边界框标注定义一个空间区域,仅在该区域内锐化教师温度并提高掩码补丁损失权重,从而让冻结编码器在下游无需任何标签即可用于 CT 病灶检测。
值得关注:本条属于 foundation-model 方向,延续了“冻结特征 + 轻量探针/检测头”的既有脉络(如已有卡片中 Evo 2 探针检测宏基因组信号、π0.7 展现可引导组合能力),但针对的是医学 CT 病灶检测。增量…
本文提出前缀最优生成策略(POGP),通过在学习扩散策略的去噪链上定义前缀值函数,让模型在测试时学会“何时停止”去噪:在四个 MuJoCo 连续控制任务上,相比 12 个基线,POGP 约减少 2.7 倍所需的去噪迭代次数,同时保持接近完整任务性能;与最先进的动态扩散基线相比,最终任务性能还提升约 3.5%。
值得关注:扩散策略在连续控制中潜力巨大,但迭代去噪的实时性限制阻碍落地。本文的核心贡献是把“停止去噪”本身变成可学习的问题:用值函数来预测每一步是否还有价值。这种思路不仅能加速现有扩散策略,还表明“中间过程的监督”本身是一种有效…
本研究提出IRIS框架,用神经科学启发的度量指标系统分析了视觉Transformer(ViT)中方向选择性(orientation selectivity)的涌现规律,发现训练范式是决定方向选择性强弱的最主要因素,且这些指标可为下游微调时解冻多少层提供机制性启发。
值得关注:IRIS框架提供了一个可追踪生物基础特征在ViT训练过程中如何变化的新视角,连接了生物视觉系统与人工视觉Transformer的表征研究。与已有相关卡片涉及的具身智能、物理信息神经网络、交通标志评估等应用型工作不同,本…
HiGram 提出一种进化的分层图记忆框架,通过路径级定位与协同重写,让 LLM 智能体在长期推理中能够更高效地检索和更新记忆,在提升答案质量的同时降低 token 消耗。
值得关注:HiGram 直接针对平面图记忆的检索噪声和逐单元重写低效问题,提出了“分层结构 + 路径级定位 + 协同重写”的组合方案。与已有相关卡片中的 MemLens(价值感知内存管理与交互式分析)不同,HiGram 的增量贡…
HexMIL是一种无需像素级标注的医学CT深度伪造检测方法,仅凭体级别标签训练,通过分层注意力机制同时实现跨未见生成器的稳健检测和对篡改区域的定位,且解释是“事前”(ante-hoc)而非“事后”(post-hoc)。
值得关注:与常见post-hoc解释工具(如Grad-CAM)相比,HexMIL的解释来自驱动分类决策的同一计算路径,具有结构忠实性,能增强临床信任。 无需篡改掩膜即可实现区域定位,降低标注成本。 针对性验证了跨生成器泛化,更贴…
该研究提出一个将大语言模型嵌入迭代式符号回归的框架 DASyR-LLM,让 LLM 在每一轮对候选动力学模型进行物理化学定性批评并提出新候选式,从而显著减少找到真实动力学模型所需的迭代次数,同时保持同等预测精度。
值得关注:这项工作展示了 LLM 可以作为一种“领域知识注入器”,参与科学模型的自动发现,而不只是作为文本生成工具。它将符号回归的数据驱动搜索与 LLM 的物理化学常识结合,为化学工程中完全自动化、领域感知的动力学建模流程提供了…
CoPlan 提出一种让人类照护规划者与多个 AI 智能体协同工作的照护规划界面;AI 生成候选干预措施及支持/质疑论点,人类可在最终方案生成前接受、拒绝、修改或增补论点,从而把 AI 推荐从“固定输出”变为“可检查、可质疑、可修订”。
值得关注:CoPlan 强调人类能动性(human agency)和临床问责性(clinical accountability),尝试解决 AI 在照护决策中“黑箱推荐、难以纠偏”的信任问题。 它将“可争议性”作为 AI 系统设…
CoCo-IR 提出一种新的多轮“上下文组合式图像检索”任务,让用户通过多轮交互逐步细化检索结果。论文基于大型多模态模型(LMM)构建上下文感知检索器,生成随轮次演化的 Transformable Image Embeddings(TIE),并配合全自动数据引擎;摘要报告在 CIRCO 单轮基准上达到 39.4 mAP@5,在新建 CoCo-IR 基准的…
值得关注:将组合式图像检索从单轮交互扩展到多轮上下文,弥补了现有系统在迭代式视觉搜索上的空白。 提出“随轮次演变”的图像嵌入 TIE,而不是一次性生成固定查询表示,是对检索建模的一种新思路。 全自动数据生成与难负样本挖掘机制,有…
本文提出一种名为 Chained Recursive Language Models(Chained RLM)的推理时架构:让同一个大语言模型以“新鲜推理根”的形式被反复调用,通过传递紧凑摘要、黑板和工作区工件,把长上下文推理拆解为多个可检查、可修正的阶段,旨在缓解单次推理中早期错误传播的问题。
值得关注:这项工作属于推理时计算(inference-time computation)方向的尝试,不修改模型权重,而是通过反复调用同一模型并设计工件交接来管理复杂推理。与已有相关卡片中涉及的 VLA 模型忠实性、数据集或水印技…
只按有限视界内的信息收益来选择实验的规划器,在“必须先构造能力、之后才能做有效实验”的任务上会结构性失效;本文提出 CG-Plan,用“能力感知的到目标成本启发式 h = h_cap + h_exp”来缓解这一问题。
值得关注:现有系统常用“单位成本信息增益”等近视指标做实验选择;本文展示的失效不是调参问题,而是固定前瞻深度无法克服的结构性限制。 “能力门控”作为一个独立困难轴,提示研究者需要设计能评估能力构建价值的规划方法。 与已有相关卡片…
BnBERT-iPET 是一种面向孟加拉语的稀疏少样本语言建模方法,通过彩票假设剪枝将模型剪至 10% 的边(即 90% 稀疏度),在少样本下游任务上可与 Bangla Electra、Indic-BERT、XLM-RoBERTa 等大模型“并驾齐驱”。
值得关注:已有相关卡片多涉及图像分割、视频生成和多模态图基础模型;本卡片增量信息在于:它将稀疏化剪枝与少样本学习结合,专门针对孟加拉语这一资源受限语言,展示了“大模型压缩到 10% 后仍可竞争”的实证结果,为低资源语言 NLP …
待核实(目前仅有论文元数据,无法确认研究结论)。
值得关注:该研究主题与“共享具身智能与人机协作优化”构成延续:真实公共空间中的行人如何感知和回应机器人,是机器人进入城市环境的关键问题。与已有相关卡片相比,本条增量信息是:同时覆盖“自主移动机器人”和“个人移动机器人”,并聚焦“…
Argus 是一个持久化、自进化的通用智能体运行时,在不改变模型权重的前提下,通过持久项目状态和控制策略实现自我进化,并在软件工程、数学研究、论文流水线等长时程推理任务上取得显著提升。
值得关注:与已有相关卡片相比,CompactionRL 通过训练策略改进长程智能体,Cortex 针对具身智能体操作,而 Argus 提供了一条不改变模型权重、仅通过持久运行时状态与控制策略进行自进化的通用路线。其增量信息在于:…
ABSeeker 提出 Answer-Backtracked Credit Assignment(ABC)框架,利用从最终答案回溯出的中间线索,将稀疏的轨迹级结果转换为稠密的步骤级奖励,从而训练长程搜索智能体;在 4B 参数规模下,其 BrowseComp 得分可从 37.3% 提升至 55.3%(配合上下文管理),接近约 30B 参数的大模型表现。
值得关注:长程搜索智能体的训练难点在于:一条轨迹即使最终失败,其中也可能包含正确步骤;反之最终成功也可能包含冗余或错误动作。ABC 提供了一种“只看查询和标准答案”即可生成步骤级奖励的思路,无需人工过程标注,就能奖励失败轨迹中的…