MIT CSAIL展示权重空间编程法 修改0.016%参数使Qwen3.5-0.8B数学成绩升至48.1%

MIT CSAIL展示权重空间编程法 修改0.016%参数使Qwen3.5-0.8B数学成绩升至48.1%
2026年11月03日 16:32 观点新媒体

观点网讯:近日,MIT CSAIL研究团队展示一种名为“权重空间编程”(Weight-Space Programming)的AI优化方法。该方法让GPT-6 Astra像程序员阅读和修改代码一样,直接分析神经网络权重,定位模型问题并修改其中的参数,整个过程没有使用传统的梯度训练。

研究人员仅修改了Qwen3.5-0.8B的13.072万个参数,占参数总量的0.016%。修改后,该模型在MATH-500上的成绩从7.9%提升至48.1%,GSM8K成绩从13.8%提升至67.1%,IFEval指令遵循成绩也从21.0%上升至62.3%。同时,该模型在MATH-500上触及token上限的回答比例从93.0%降至33.1%。

这项方法还应用于其他任务。研究团队在小车控制网络上修改了3.5%的权重,为网络加入“先后退蓄力,再全速前进”的控制路径,使成功率从0提升至100%。

消息传开后,有观点认为这是一种刚刚在最新一代模型中出现的“阶跃式能力”,如果大模型能直接读写另一个模型的权重,未来AI优化AI可能连重新训练都不需要了。也有质疑指出,Qwen原本存在严重的重复推理问题,数学成绩大幅上涨可能只是因为GPT-6 Astra修好了这个问题,并不等于一个模型凭空获得了新的数学能力。

免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部