ARTICLE / DEEP READING

热点资讯

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍文章配图
READ
IN DEPTH

FEATURED ARTICLE

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍。据称,整个过程没有使用梯度下降或传统训练循环。 这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究,将其称为「权重空间编程」,核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重,而不是通过常规训练流程调整模型参数。 在具体实验中,GPT-6 Astra 并不是简单地随机调整少量参数,而是先定位 Qwen3.5-0.8B 的推理循环问题。 研究人员发现,该模型容易在回答数学问题时反复生成相同内容,导致大量回答耗尽 32768 个 Token 的长度限制。在最初的 96 次测试回答中,有 85 次触及这一上限。 研究团队为 GPT-6 Astra 提供了一个可以读取和修改模型权重的 Python 环境,并允许其使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP(多层感知机)写入的一种重复方向,通过修改这两层的部分权重,削弱了导致推理循环的信号。 最终,Astra 修改了 131072 个权重,占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中,模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,在 GSM8K 上从 13.8% 提升至 67.1%。 同时,修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。与此同时,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。 需要注意的是,这项实验并非完全没有计算过程。GPT-6 Astra 使用了 Python 环境分析和修改权重,也进行了最多 50 轮前向推理,只是没有使用梯度下降、反向传播或传统训练循环来更新参数。 研究人员还使用 Gemma 3 270M 进行了对照实验。由于该模型原本很少出现推理循环,Astra 无法通过类似的局部权重修改显著提升其数学能力,MATH-500 成绩最多仅从 6.8% 提升至 7.7%。研究团队据此指出,权重空间编程可以消除模型已有能力发挥过程中遇到的障碍,但不一定能够凭空创造模型原本不具备的能力。 这项研究还包括其他实验,例如让 GPT-6 Astra 仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言,以及直接编写能够运行游戏的神经网络。研究人员认为,这种方法有望为神经网络可解释性研究和模型优化提供新的思路。 参考资料: 特别

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

[流言板]队报更新白堡往事:15年前破产+踢业余联赛,所以很在乎投资

[流言板]队报更新白堡往事:15年前破产+踢业余联赛,所以很在乎投资

虎扑10月28日讯 法国媒体队报撰写法甲球队专栏,此举旨在展现出为何他们这么在乎海外投资。 “那简直是一场噩梦。俱乐部破产,所有人被解雇,那段经历太可怕了。”盖伊-费根布鲁格尔(Guy Feigenbrugel)不愿过多回首往事,因为那些记忆至今仍令他感到阵痛。1998年,他加入了斯特拉斯堡竞技俱乐部。 作为一名随和的球队经理,他是少数几位未被解雇的员工之一——与他一同留下的还有负责洗衣的工作人员

演员白宇帆发微博承认已有孩子,此前“曝白宇帆隐婚生子”冲上热搜

演员白宇帆发微博承认已有孩子,此前“曝白宇帆隐婚生子”冲上热搜

此前,“曝白宇帆隐婚生子”冲上热搜。 据悉,2018年白宇帆还是素人时,曾带女友纪宣羽上综艺《无限歌谣季》,两人同为退伍军人,在部队相识相恋。 白宇帆,1995年5月19日出生于陕西省西安市,毕业于南京艺术学院电影电视学院,中国内地影视男演员。2019年,出演古装轻喜剧《恋恋江湖》,正式踏入影视行业 。2021年,凭借脱贫攻坚题材剧《山海情》中马得宝一角被观众熟知 。2023年,主演的青春剧《那些

谷歌捣毁大型僵尸网络:合作厂商在130万台安卓机顶盒中植入后门牟利

谷歌捣毁大型僵尸网络:合作厂商在130万台安卓机顶盒中植入后门牟利

IT之家11月4日消息,谷歌近日捣毁了一项大规模僵尸网络行动,涉事方是一家同时从事 OEM(原始设备制造商)和 ODM(原始设计制造商)业务的企业。 谷歌捣毁了一项大规模僵尸网络行动 根据谷歌发布的博客文章,曾获得 Android TV 合作伙伴认证的视壮科技(Videostrong Technology Co.)故意在130万台电视机顶盒中植入后门,并将相关访问权限出售给犯罪团伙成员。借助这一后

美媒评NBA十大宿敌对决,科比7次对决邓肯,詹库连续4年会师总决赛

美媒评NBA十大宿敌对决,科比7次对决邓肯,詹库连续4年会师总决赛

日前,美媒FBH在社交媒体上发布了一份榜单,榜单上列出了NBA历史上十大经典宿敌对决,引发媒体、球迷热议。 10、米勒vs斯派克·李 麦迪逊花园是米勒的噩梦主场,也是他的封神之地。两人的恩怨始于1994年东决G5,那场比赛斯派克·李在场边喋喋不休,被激怒的米勒单节砍下25分,投进关键球后做出标志性的锁喉动作,次年季后赛再次相遇,米勒又在8.9秒砍下8分创造奇迹。之后每一次相遇,米勒总会和斯派克·李

马斯克切割:我不是MAGA

马斯克切割:我不是MAGA

当地时间11月18日,马斯克宣称,自己并不属于“让美国再次伟大(Maga)”阵营,并表示在共和党中期选举遭遇大规模败绩之后,回看为本次选举投入的创纪录资金,感觉自己“相当愚蠢”。 马斯克是本届选举出资最多的个人捐助者,一共拿出4.46亿美元支持特朗普所属的共和党,资金重点投向得克萨斯州,马斯克多家企业的大本营就设在该州。 当日,马斯克在《纽约时报》举办的线上峰会中直言:“我不是MAGA。我其实说不