FIELD NOTE / {$vo.autoindex}

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍
NX REPORT
2026
当前位置 PG电子试玩精选游戏-PG作品体验 资讯中心 MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍。据称,整个过程没有使用梯度下降或传统训练循环。 这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究,将其称为「权重空间编程」,核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重,而不是通过常规训练流程调整模型参数。 在具体实验中,GPT-6 Astra 并不是简单地随机调整少量参数,而是先定位 Qwen3.5-0.8B 的推理循环问题。 研究人员发现,该模型容易在回答数学问题时反复生成相同内容,导致大量回答耗尽 32768 个 Token 的长度限制。在最初的 96 次测试回答中,有 85 次触及这一上限。 研究团队为 GPT-6 Astra 提供了一个可以读取和修改模型权重的 Python 环境,并允许其使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP(多层感知机)写入的一种重复方向,通过修改这两层的部分权重,削弱了导致推理循环的信号。 最终,Astra 修改了 131072 个权重,占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中,模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,在 GSM8K 上从 13.8% 提升至 67.1%。 同时,修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。与此同时,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。 需要注意的是,这项实验并非完全没有计算过程。GPT-6 Astra 使用了 Python 环境分析和修改权重,也进行了最多 50 轮前向推理,只是没有使用梯度下降、反向传播或传统训练循环来更新参数。 研究人员还使用 Gemma 3 270M 进行了对照实验。由于该模型原本很少出现推理循环,Astra 无法通过类似的局部权重修改显著提升其数学能力,MATH-500 成绩最多仅从 6.8% 提升至 7.7%。研究团队据此指出,权重空间编程可以消除模型已有能力发挥过程中遇到的障碍,但不一定能够凭空创造模型原本不具备的能力。 这项研究还包括其他实验,例如让 GPT-6 Astra 仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言,以及直接编写能够运行游戏的神经网络。研究人员认为,这种方法有望为神经网络可解释性研究和模型优化提供新的思路。 参考资料: 特别

about image
MORE TO EXPLORE

继续阅读

172分钟!阿隆索弃用埃斯特旺遭质疑,利物浦巴黎已盯上

172分钟!阿隆索弃用埃斯特旺遭质疑,利物浦巴黎已盯上

切尔西在联赛杯点球大战中不敌利物浦,无缘晋级。常规时间内,摩根·罗杰斯点球为蓝军首开纪录,科迪·加克波同样通过点球为利物浦扳平。下半场双方均未能制造决定性时刻,比赛被拖入点球大战,利物浦最终顶住压力淘汰切尔西。 比失利更让切尔西球迷不满的,是主帅哈维·阿隆索对埃斯特旺·威廉的使用。这位巴西小将整场坐在替补席上,而佩德罗·内托在进攻三区接连做出糟糕选择,罗杰斯的影响力也逐渐减弱。赛后发布会上,记者直

国新宏盛又一新进持股上市公司现身:中国船舶三季度净利同比增68%,净赚34.9亿元

国新宏盛又一新进持股上市公司现身:中国船舶三季度净利同比增68%,净赚34.9亿元

每经记者:文多 每经编辑:陈俊杰 10月30日盘后,中国船舶(600150.SH,股价33.39元,市值2512.80亿元)披露2026年第三季度报告。前三季度,公司实现营业收入1311.18亿元,同比增长22.08%,归母净利润134.40亿元,同比增长129.67%。 第三季度公司实现营业收入395.89亿元,同比增长13.88%,归母净利润为34.87亿元,同比增长68.07%。 第三季度业

14 家保险公司拒保:新能源车主为何陷入“无保可续”困境

14 家保险公司拒保:新能源车主为何陷入“无保可续”困境

【TechWeb】据 21 世纪经济报道,一位车主临近车险到期时在线上比价,结果 14 家保险公司均未给出承保报价,陷入了无保可续的尴尬境地。 这位车主拥有二十多年驾龄,此前一直驾驶燃油车,即便曾出过险,续保过程也十分顺畅,往年甚至还有保险业务员主动上门对接。然而换购新能源车后,情况却发生了截然不同的变化。 除了遭遇拒保的案例,还有大量车主反馈:过去一年没有出险记录,今年续保的保费反而上涨了。由此

国家发改委:不少患者有这样的感受,住院病房多为4人间甚至6人间,空间拥挤、设施陈旧,今年将2万间4人及以上病房改造为2—3人间

国家发改委:不少患者有这样的感受,住院病房多为4人间甚至6人间,空间拥挤、设施陈旧,今年将2万间4人及以上病房改造为2—3人间

11月10日, 国家发展改革委举行“奋进‘十五五’”系列新闻发布会的第四场,主题是“增进民生福祉”。 国家发改委社会发展司副司长黄玮茹介绍,“十五五”时期,国家发展改革委将会同国家卫生健康委等有关部门,认真贯彻落实党中央和国务院决策部署, 统筹实施医疗卫生强基、医院病房改造、康复护理扩容提升等重点工程 ,努力解决好群众就医过程中的操心事、烦心事。 黄玮茹说,让基层真正守好群众健康的“第一道防线”。

门迭塔:意甲强队太多了,拉齐奥很难把领先优势保持到最后

门迭塔:意甲强队太多了,拉齐奥很难把领先优势保持到最后

直播吧11月16日讯 拉齐奥队史上头号“水货”(注:门迭塔2001年以900亿里拉(当时的天价)转会拉齐奥后30场零进球,成为意甲史上最昂贵的"水货"之一)接受采访,谈及他在拉齐奥的经历等话题。 关于自己在拉齐奥的失败经历 那一年正是拉齐奥的灾难年,我八月顶着天价转会费加盟,十一月份就有人问我要不要来年一月份走人。事后看来,无论是我还是拉齐奥,都不够有耐心。说(拉齐奥时任主帅)曼奇尼不想要我,那不