知识卡片：MIT 用 GPT-6 Astra 直接改写 Qwen 权重，数学能力提升约 6 倍

一句话结论

据量子位报道，MIT 团队提出“Weight-Space Programming（权重空间编程）”，让 GPT-6 Astra 直接读取并编辑小模型权重，在 Qwen3.5-0.8B 上仅改动约 0.016% 权重、不做梯度训练，就把 MATH-500 得分从 7.9% 提升到 48.1%。

事件概述或研究问题

报道称，MIT 的实验试图回答：通用大模型能否不经过传统训练流程（损失计算、反向传播、优化器更新），而是通过分析神经网络权重、定位问题部件并直接写入修改，来改变小模型行为。团队将这套做法命名为 Weight-Space Programming。Astra 在此过程中承担“诊断权重—决定改哪里—生成修改代码/权重”的角色。上述实验细节来自量子位对公开博客与社交帖子的转述，原始论文/技术报告的完整评测口径待核实。

方法/产品要点

• Qwen 实验：研究者向 Astra 提供 Qwen3.5-0.8B 全部权重及 Python 环境，要求“尽可能提高数学能力”；由 Astra 自行分析改什么、怎么改，不使用梯度下降。
• 问题定位：Astra 判断数学表现受“推理循环”拖累（报道称最初 96 条练习回答中 85 条跑到 32768 token 上限），并将循环追到前馈网络，在第 15、19 层各 64 个输出列上修改权重。
• 预算设置：分别给 Astra 10、25、50 次前向调用预算，对应 MATH-500 得分为 12.3%、14.1%、48.1%。
• 权重阅读实验：把四个同架构小游戏网络（打砖块、乒乓、吃豆人、高速公路）的原始权重以文本形式交给 Astra，它正确识别出四个游戏名称；在扩散模型权重上能辨认圆形、方形、三角形，但把实心图形误读为轮廓。
• 语言模型识别：对三个 720 万参数、分别用 Python 代码/日语罗马字/英语训练的小语言模型（移除输入输出层，仅留中间四个 Transformer 模块），Astra 在两轮尝试中认对所学语言，并找出全部归纳头。
• 小车爬坡：不用工具、一次回复写出补丁，只改 3.5% 权重，让原本卡在坡上的 PPO 网络在 1024 次测试中全部成功。
• 从零写权重：在 MinAtar 小游戏实验中，给 Astra 全零权重网络、游戏规则与源代码，无训练数据/梯度/工具，一次回复生成网络，平均得分 517.4。

主要结果或产业意义

• MATH-500：7.9% → 48.1%（约 6 倍）；回答触及长度上限比例从 93.0% 降到 33.1%。
• 报道称原本未要求优化的指令执行能力也提高 3 倍（具体评测口径待核实）。
• MinAtar 对照：Astra 生成网络平均得分 517.4，PPO 训练 1 亿步得 15.8、5 亿步得 25.3，报道称超过 20 倍。
• 产业意义：展示了一条“不改训练管线、直接改权重”的模型修复/能力注入路径，可能影响小模型调优、模型诊断与权重可解释性工具的设计思路。

为什么重要

若该结果可复现，意味着前沿通用模型不仅能生成代码和文本，还可能直接操作神经网络的参数空间，把“诊断—定位—修补”串成一条不依赖梯度训练的流程。这与既有卡片中 Astra 在业务工作簿处理（Basis 案例）和论文复现基准（PaperBenchX 完整复现率 13.98%）上的表现形成互补：本条增量在于“权重级编辑”这一新能力维度，而非单纯的推理或复现能力。对开发者而言，未来小模型表现不佳时，可能多一个“直接改权重”的选项，而非只能重新训练。

局限与不确定性

• 实验主要来自量子位转述的博客与社交帖子，原始论文/技术报告、完整评测协议、基线设置待核实。
• 权重阅读实验存在明确错误（实心图形误读为轮廓），说明权重理解并非完全可靠。
• Astra 自身知识与能力仍来自其先前训练；分析权重、生成代码、批量推理与评测均需消耗计算资源，报道也明确“GPU 暂时还不用准备退休”。
• “指令执行能力提高 3 倍”“超 PPO 基线 20 倍”等表述的具体测量方式与统计口径待核实。
• 实验规模为 0.8B 小模型与百万级参数小网络，能否推广到更大模型待核实。

可用于图书/PPT/简报的角度

• “不训练也能改模型”：权重空间编程作为梯度下降之外的第三条路径（对比微调、LoRA 等）。
• 模型可解释性的“反向用法”：从“解释权重”到“编辑权重”。
• 大模型作为“模型医生”：诊断小模型故障（推理循环）并定点修补。
• 算力叙事平衡：省掉梯度训练，但诊断与验证仍要花算力——避免“训练消失”的过度解读。
• 与 PaperBenchX、Basis 案例并置：Astra 的能力边界（数学/权重编辑强，论文完整复现弱）形成对照。

与既有脉络的关系

本条是对“GPT-6 Astra”系列卡片的延续与更新：既有卡片分别记录了 Astra 在税务工作簿处理（Basis，速度约为 GPT-5.6 Sol 的 2 倍）和 PaperBenchX 论文复现（完整复现率 13.98%）上的表现；本条新增的是“直接读取/编辑小模型权重”这一能力维度，并给出 MATH-500 从 7.9% 到 48.1% 的具体数字。三者共同勾勒出 Astra 在不同任务上的能力不均衡，而非重复同一事实。

原始材料

• 来源：量子位（QbitAI）
• 标题：MIT：GPT-6 Astra能直接修改Qwen权重，数学能力暴涨6倍
• 作者：鹭羽
• 日期：2026-11-03
• URL：https://www.qbitai.com/2026/11/507322.html
• 参考链接（原文列出）：
  • https://x.com/i/trending/2117328869283840499
  • https://rikiyat.github.io/blog/weight-space-programming/
  • https://x.com/rikiyatakehi/status/2117313742891327994
• 英文关键词：Weight-Space Programming, GPT-6 Astra, Qwen3.5-0.8B, MATH-500, feed-forward network, induction heads, PPO, MinAtar