在NVIDIA GPU上,提升长上下文推理性能的关键是围绕注意力算子做模型架构协同设计:decode阶段应尽量提高GQA的group size(G),head dimension选128或256;prefill时间主要由序列长度决定,与G关系不大。
值得关注:它改变了对“推理优化”的通常看法:不仅要优化内核实现,还要在模型设计阶段就考虑GPU如何执行注意力。对Agentic和长上下文应用(多轮对话、大文档理解)尤其相关。 与已有相关卡片(如MiniMax-M3推理优化)相比…
在NVIDIA GPU上,提升长上下文推理性能的关键是围绕注意力算子做模型架构协同设计:decode阶段应尽量提高GQA的group size(G),head dimension选128或256;prefill时间主要由序列长度决定,与G关系不大。
值得关注:它改变了对“推理优化”的通常看法:不仅要优化内核实现,还要在模型设计阶段就考虑GPU如何执行注意力。对Agentic和长上下文应用(多轮对话、大文档理解)尤其相关。 与已有相关卡片(如MiniMax-M3推理优化)相比…
Claude Code之父Boris建议每六个月删掉Claude.md、skills与hooks,用消融实验逐行加回,以减少“产品悬余”、给模型“解缚”;据材料,Opus 5已借此思路精简超过80%的系统提示词。
值得关注:这是对“Claude Code之父:Harness保质期只有半年”一说的延续和具体化:从提醒“保质期”落到“每半年删配置+消融实验”的操作节奏,并给出“产品悬余/解缚”这一解释框架,增量信息明确。
OpenAI 提出以“全栈方法”(full-stack approach)推动先进 AI 变得更强大、更便宜、更广泛有用;具体技术细节与发布内容待核实。
值得关注:这是 OpenAI 官方页面,标题“Building abundant intelligence”可视为其愿景表述之一,有助于理解 OpenAI 对“智能应如何普及”的定位。 与既有卡片相比,本条提供的是一个更上层的方…
谷歌DeepMind的AlphaFold明星团队已解散,诺奖得主John Jumper及两名核心成员转投Anthropic;谷歌转而押注以Gemini为底座的统一科研平台,但此前“小团队长周期单点攻坚”的模式能否被平台化取代仍存疑问。
值得关注:**人才流失信号**:诺奖得主及核心成员流向Anthropic,标志着AI蛋白质结构预测领域顶尖人才从谷歌向OpenAI竞品公司的转移。 **平台化转型检验**:谷歌关闭独立团队,转而推动以Gemini大模型为底座、多…
蔡浩宇旗下AI公司Anuttacon出现重大转向:多个项目暂停或停运,资源集中押注Agent方向,蔡浩宇本人领英身份变为“独立大模型与智能体开发者”。
值得关注:这是米哈游联合创始人蔡浩宇在AI创业方向上的又一次“洗点”:从“AI灵魂大法师”到独立开发者,从追求AI情感、表演能力到全面押注Agent。相比已有卡片中AlphaEvolve等具体智能体技术的进展,本条反映的是行业层…
Cursor通过将开发环境视为以代理为用户的独立产品,构建了 `anydev` CLI、`Cursor Cloud MCP` 及 `Cloud Doctor` 自动化工具,使云代理从2025年12月贡献约1/10的合并PR,增长到如今贡献超过一半,成为主力代码贡献者。
值得关注:该实践表明,让AI代理高效工作的关键在于将开发环境本身作为产品来设计,而非仅关注模型能力。 与已有RL Agent、SIMA 2等知识卡片相比,本卡片聚焦于基础设施层面的具体工程决策(环境适配、CLI设计、MCP自愈)…
OpenAI总裁Brockman称,ChatGPT桌面端未来将实现“零标签页”,ChatGPT与Codex合并后的界面混乱只是过渡;OpenAI的定位不是超级应用,而是AI操作系统,Agent正从回答问题转向主动执行任务。
值得关注:已有相关卡片覆盖了SIMA 2、Together推理基准测试、Cursor视觉提示Agent等具体能力或产品。本条提供了OpenAI对Agent入口与产品形态的顶层判断:不是堆一个超级应用,而是做AI操作系统;从标签页…
通过访问控制、沙箱化执行、默认拒绝网络出口和秘密隔离等确定性架构控制,可显著降低企业AI代理被利用的风险,而基于提示或LLM判断的防御不可靠。
值得关注:AI代理作为“数字同事”能大幅提升知识工作者效率,但连接LLM到实时工具和企业数据会创造难以预料的攻击面。该文章首次系统总结了红队在真实环境中的重复性失败模式,并给出了优先级的确定性缓解措施,填补了业内对代理安全架构指导的空白。
在模仿学习中,让学习者沿自身轨迹与专家进行在线交互,可以放宽其表示条件:不再需要精确表示专家策略,只需能表示专家价值函数;作者据此提出交互式在线策略算法 OVI,并在理论和实验上显示优于行为克隆、DAgger 等基线。
值得关注:给出了一个清晰的表示权衡:在线交互将“表示专家策略”的严格需求放松为“表示专家价值函数”,为实践中的模型容量选择和算法设计提供了理论指导。 与已有相关卡片不同,本条不直接讨论 RAG 或扩散蒸馏,而是从模仿学习的表示理…
WCM 通过让评论家(Critic)在估计价值的同时显式预测未来潜在状态,解决了视觉-语言-动作(VLA)模型强化学习后训练中评论家表征缺乏时间动态结构的问题,在仿真和真实机器人操作任务上均取得领先效果。
值得关注:本工作的增量价值在于,它不把“价值估计不准”简单归因于网络容量或数据不足,而是指出评论家缺少显式世界建模目标这一结构性问题。通过引入联合潜在状态预测,WCM 让评论家同时具备“对世界的预测能力”和“对动作的评价能力”,…
TraceViT 通过将循环视觉推理模型的中间迭代过程约束为“语义单调的变换链”,并配合任务参考与对象工作区接地,在 ARC-AGI-1 上达到 67.8% 的 pass@2,在 ARC-AGI-2 上达到 24.3%;受控消融表明,迹监督只有在与接地配对时才有益。
值得关注:循环视觉推理模型长期缺乏对中间步骤的监督信号,TraceViT 提供了一种从程序化任务实现中自动构造中间状态迹的方法,使模型每一步迭代都有可学习的“过程标签”。与已有相关卡片相比,本条是视觉抽象推理领域的“迹监督”方法…
该论文提出一种无需干净RGB监督的3D感知RGB-NIR低光成像方法,通过将极嘈杂的RGB观测与近红外(NIR)线索在3D空间中隐式融合,恢复出干净RGB图像,并能在不同噪声水平下泛化。
值得关注:该工作将3D感知建模引入RGB-NIR低光成像,提供了一条不依赖干净RGB配对数据的新路径,可能提升模型在复杂噪声环境下的鲁棒性。与既有知识卡片主题(具身智能、3D生成、点云投毒)无直接重复,属于低光成像与多模态融合方…
持续学习(CL)系统中的分布外(OOD)检测性能会随任务增加而下降(称为 OOD 遗忘,OODF),但该下降与“旧任务分类准确率”仅呈弱负相关,说明其机制相对独立;论文提出的免训练后处理方法 TOOD 通过对数几率(logit)的任务级能量分解和基于回放缓冲区的重校准,可在多数设置下改善 OOD 检测。
值得关注:已有研究多关注持续学习的分类精度遗忘,本文则聚焦 OOD 检测这一常被忽略的维度,并指出 OOD 遗忘与分类遗忘是相对独立的问题。TOOD 无需训练、即插即用,为持续学习系统在开放动态环境中的可靠性提供了一种低成本改进…
TokTier 提出一种“有状态”的 tokenization 服务:不每次从头全量分词,而是只重算追加位置附近的小窗口,并用稳定边界检查保证输出的 token ID 与全量参考分词完全一致,从而在 coding agent 类长会话场景显著降低首 token 延迟。
值得关注:在 prompt 缓存已经高命中时,tokenization 反而成为被忽视的瓶颈;TokTier 的关键增量是把“有状态”思想扩展到 serving 前端,同时保持 exact tokenization 语义。 对 …
该论文提出“苏格拉底测试”的理论基础:一种自动化、计算机中介的对话式评估方法,用动态评估和渐进式脚手架来量化学生的最近发展区(ZPD),并以非补偿性的加法式评分体系取代传统的惩罚性扣分模式。
值得关注:传统评估要么牺牲诊断性,要么受人际互动干扰。Socratic Test 试图用 AI 中介的对话方式同时解决这两个问题:既保留口试的互动性和探索性,又通过标准化计算机制减少与考察目标无关的变量。该方向把经典教育学概念(…
在参数高效微调(PEFT)中,将单一共享LoRA改为“自动任务分组 + 任务排序 + 独立QLoRA”的多策略优化路径组织方式,可以在相同可训练参数量下提升性能;论文报告在TRACE基准上达到44.78的最好成绩(待核实)。
值得关注:它把PEFT的改进重点从“增加容量”转向“优化路径组织”,为LoRA/QLoRA类方法提供了新的设计维度。 与已有相关卡片“大语言模型中的超级权重与选择性训练的失败”相比,本卡片不是讨论“是否该用LoRA”,而是讨论“…
Sycophancy Undermines Epistemic Vigilance in Cooperative Vision-Language Tasks
SignMuon 将 Muon 更新逐元素取符号,压缩到每参数 1 bit,是在极低通信预算下运行矩阵感知优化器的一种最直接方式;它在实践中优于 SignSGD,但即使在线性函数上也可能上升。把符号放在 LMO 之前或两侧并不能普遍修复该问题;误差反馈只有作用在梯度上时才带来标准非凸收敛率。更反直觉的是,实验中理论上会发散的 sign-after-LMO…
值得关注:这是对 Muon/SOAP 优化器研究脉络的通信压缩补充:已有相关卡片关注 Muon/SOAP 在训练精度和收敛速度上的收益;本条补充的是低比特通信下的收敛性边界与误差反馈的适用位置。 它说明误差反馈并非天然有效:同样…
视觉生成中,收敛后的扩散损失并不随自然语言提示的 token 数量缩放,而是随提示中“结构化语言”的数量缩放:与白盒似然度量 GPG 近似线性下降,与黑盒属性度量 ED 呈幂律下降。
值得关注:已有相关卡片多聚焦于视觉语言模型的准确性、认知错误或图像感知度量。本卡片的增量信息在于:它首次提出“结构化语言数量”而非“token 数量”作为扩散损失缩放的横轴,为视觉生成中的文本条件提供了可预测的缩放规律;同时把这…