据IT之家11月3日报道,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出“权重空间编程”:让大语言模型直接读取、分析并修改另一个神经网络的权重。在所报道的实验中,OpenAI的GPT-6 Astra修改了阿里云通义千问Qwen3.5-0.8B的少量参数,使其数学测试成绩上升。

这次修改针对的是模型反复生成相同内容的推理循环问题。研究人员发现,Qwen3.5-0.8B在回答数学问题时容易重复输出,耗尽32768个Token的长度限制;最初96次测试回答中,有85次触及这一上限。因此,实验的具体切入点是削弱重复生成信号,而不是笼统地改写整个模型。

研究团队向GPT-6 Astra提供了可读取和修改权重的Python环境,并允许它使用GSM8K和MATH训练集中的练习题,进行有限次数的前向推理。据报道,Astra定位到第15层和第19层MLP(多层感知机)写入的一种重复方向,随后修改这两层的部分权重,削弱导致推理循环的信号。

最终修改涉及131072个权重,约占该模型8亿个参数的0.016%。在允许进行50轮前向推理的实验中,MATH-500成绩从7.9%升至48.1%,GSM8K成绩从13.8%升至67.1%。指令遵循测试IFEval的成绩也从21.0%升至62.3%;数学测试中因生成长度达到上限而未能完成回答的比例,则从93%降至33.1%。

这里的“不使用传统训练”并不等于没有计算过程。报道明确指出,实验使用了Python环境分析和修改权重,也进行了最多50轮前向推理;未使用的是梯度下降、反向传播或传统训练循环。成绩变化对应的是这一具体模型和实验设置。

研究团队还用Gemma 3 270M做了对照。该模型原本很少出现推理循环,Astra未能通过类似的局部权重修改显著提升其数学能力,MATH-500成绩最多从6.8%升至7.7%。这一对照也界定了本次结果的适用范围:针对重复推理问题的局部修改,在另一模型上没有带来同等幅度的提升。

原始来源:MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍