2026 年 11 月 2 日，MIT CSAIL 四位研究者发布博客 Sparks of Weight-Space Programming。他们报告：通用大语言模型可以直接读、写神经网络权重（不经优化器，尤其不做梯度下降），并围绕自然语言规格行事，有时甚至没有环境反馈。他们把这种做法称为 Weight-Space Programming。头条实验是让 GPT-6 Astra 在无训练条件下改动阿里巴巴开源权重 Qwen3.5-0.8B，目标是提高数学表现。

作者为 Rikiya Takehi*、Jayden Teoh*（并列第一作者）、Alex Zhang、Omar Khattab。文中强调结果仍属很早期、非同行评议，并公开了完整实验日志。

关键事实

设置 MATH-500 GSM8K IFEval 触达 token 上限
Qwen3.5-0.8B 基线 7.9% 13.8% 21.0% 93.0%
编辑后，10 次 forward pass 12.3% 25.7% 49.0% 87.2%
编辑后，25 次 forward pass 14.1% 25.1% 39.9% 86.4%
编辑后，50 次 forward pass 48.1% 67.1% 62.3% 33.1%
  • 编辑器模型。 GPT-6 Astra，按作者说法未针对这些任务微调，按原样使用。
  • 目标模型。 Qwen3.5-0.8B，thinking on（24 层）。Astra 拿到一个覆盖权重的 Python kernel（无 GPU）、GSM8K 与 MATH 训练集练习题（7469 + 7275，非测试集），以及 10 / 25 / 50 次 forward pass 预算。评测基准 Astra 从未见过。
  • 采样。 temperature 0.6，top-p 0.95，top-k 20，presence penalty 1.5。Qwen 模型卡本身提示该模型易出现 thinking loops。
  • 改动规模。 Astra 认为循环来自第 15、19 层 MLP 写出的一个方向，并从每层 64 个输出列减去该方向，共改 131072 个权重（约占 0.8B 的 0.016%）。
  • 作者限定（必须读清）。 修循环不等于注入新的数学能力：只是让模型把本已能解的题做完。另测很少循环的 Gemma 3 270M（触限约 8.5%，对比 Qwen 的 93%）：MATH-500 从 6.8% 到约 7.0–7.7%，增益约 1 个百分点内，Astra 自己也报「未确立」。结论大意：编辑权重可去掉挡住已有能力的障碍，不能加上模型没有的能力。
  • 其他实验（简述）。 仅凭权重认出小 PPO 游戏网（17253 权重）对应哪款游戏；从零写 MinAtar 权重，在 Breakout 等上超过训练 1 亿步的 PPO；约 148 万权重的 9×9 围棋网在有 forward 预算时可赢同规模 PPO；从纯权重识别谄媚模型失败，加入注意力工具后才成功。

背景

按博客定义，Weight-Space Programming 与提示优化、harness 搜索、训练代码搜索同属「用推理去改工件」：模型先想清楚权重在算什么，再直接改，而不是交给 Adam 一类优化器。作者也提到 ROME/MEMIT、拒绝方向编辑、超网络、极小手工设权 transformer 等前序工作；他们主张的新意，是现成前沿模型从「权重当文本」读到「带工具改 0.8B 语言模型」。

数学实验编辑后的 Qwen 已放上 Hugging Face。作者致谢 Hugging Face 按日志重建、复测并做演示。他们正在做该方向的基准与 harness。

反响与影响

Turing Post 称，11 月 2 日博客发出后数小时内，相关讨论在 X 上浏览量过百万。该数字是 Turing Post 的报道口径，并非 AI Rank 独立统计。

Turing Post 还写到 Lucas Beyer 指出：提示里曾明确「若模型重复且不结束，找到并修掉驱动重复的因素也算完成」。合著者 Jayden Teoh 称，短任务交给 Claude Code 扩写提示时加入了该提示。作者另测更短、无示例提示，在 25 batch 时 MATH-500 也到 14.1%（与有提示的 25 batch 相同）；Turing Post 称该短提示的 50-batch 结果未公布。

尚待确认

  • Qwen 循环修复在所报采样设置与留出评测之外还能泛化多远
  • 更短无示例提示在 50 次 forward pass 时能否复现 48.1% MATH-500（已核来源未给出该行）
  • 同行评议结论；作者自述仍为很早期结果
  • Weight-Space Programming 能否「加上」模型原本没有的能力（目前 Gemma 反例不支持）

来源