ARTICLE / DEEP READING

热点资讯

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍文章配图
READ
IN DEPTH

FEATURED ARTICLE

MIT研究者提出「权重空间编程」:GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%权重,数学成绩提升至原来6倍

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍。据称,整个过程没有使用梯度下降或传统训练循环。 这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究,将其称为「权重空间编程」,核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重,而不是通过常规训练流程调整模型参数。 在具体实验中,GPT-6 Astra 并不是简单地随机调整少量参数,而是先定位 Qwen3.5-0.8B 的推理循环问题。 研究人员发现,该模型容易在回答数学问题时反复生成相同内容,导致大量回答耗尽 32768 个 Token 的长度限制。在最初的 96 次测试回答中,有 85 次触及这一上限。 研究团队为 GPT-6 Astra 提供了一个可以读取和修改模型权重的 Python 环境,并允许其使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP(多层感知机)写入的一种重复方向,通过修改这两层的部分权重,削弱了导致推理循环的信号。 最终,Astra 修改了 131072 个权重,占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中,模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,在 GSM8K 上从 13.8% 提升至 67.1%。 同时,修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中,修改后的模型成绩从 21.0% 提升至 62.3%,约为原来的 3 倍。与此同时,数学测试中因生成长度达到上限而未能完成回答的比例,从原来的 93% 降至 33.1%。 需要注意的是,这项实验并非完全没有计算过程。GPT-6 Astra 使用了 Python 环境分析和修改权重,也进行了最多 50 轮前向推理,只是没有使用梯度下降、反向传播或传统训练循环来更新参数。 研究人员还使用 Gemma 3 270M 进行了对照实验。由于该模型原本很少出现推理循环,Astra 无法通过类似的局部权重修改显著提升其数学能力,MATH-500 成绩最多仅从 6.8% 提升至 7.7%。研究团队据此指出,权重空间编程可以消除模型已有能力发挥过程中遇到的障碍,但不一定能够凭空创造模型原本不具备的能力。 这项研究还包括其他实验,例如让 GPT-6 Astra 仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言,以及直接编写能够运行游戏的神经网络。研究人员认为,这种方法有望为神经网络可解释性研究和模型优化提供新的思路。 参考资料: 特别

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

不可思议!杭州拱墅招18名社工,3900人报名:3名博士、400多名硕士,浙大30余人投递简历

不可思议!杭州拱墅招18名社工,3900人报名:3名博士、400多名硕士,浙大30余人投递简历

近日,一则网友爆料在社交平台引发热议:杭州拱墅区本次招聘18名专职社区工作者,报名总人数高达3900人,其中包含3名博士、四百多名硕士,仅浙江大学的报名者就有三十余人。 消息一出,不少网友直呼震撼,大家纷纷发问:社区社工岗位究竟有多大吸引力?浙江社工年薪能否达到20万,才引得名校学子争相投递?围绕这组惊人数据的讨论,折射出当下就业市场、基层岗位价值认知的多重变化。 从岗位性质来看,专职社工属于合同

台籍日本兵:比日军还凶残,后代成为台掌权者,继续“独”害台湾

台籍日本兵:比日军还凶残,后代成为台掌权者,继续“独”害台湾

就在大陆隆重纪念抗战胜利80周年之际,台湾那边的赖某人却在大放厥词,说“台湾不拿枪杆子纪念和平”,更美化日本侵华战争,称抗战胜利日是二战“终战”日,也没有指出日本是侵略国;同时还严禁岛内公职人员和老兵出席“九三阅兵”。 赖某人所作所为就是一个活脱脱的民族败类,有人说,他其实是台籍日本兵后代,父辈曾死忠效力日本人,所以到他这一代才如此媚日、亲日,继而丧心病狂搞分裂。 此人到底是不是台籍日本兵后代?这

刘涛疑似遭受大亨不当触碰,官方媒体发声严厉评论,为她讨回公道,杨幂的言论成真了

刘涛疑似遭受大亨不当触碰,官方媒体发声严厉评论,为她讨回公道,杨幂的言论成真了

10月22日上海那场活动,刘涛侧了三次身、退了半步、换了只手打招呼,那只手还是没松开。10月28日,“刘涛遭咸猪手”挂上热搜第一,镜头里没喊出来的那几秒,比任何声明都具体。 合影环节,73岁的品牌创始人贴面之后,手从她大臂滑到腰胸之间。 刘涛先侧身。手没动。 再后撤。手跟着。 换方向抬手和粉丝打招呼,想借动作把距离拉开。手还是停在原处。 镜头对着她的时候,笑是标准的。快门停了、转身走出画面那一秒,

困扰多年的便秘找到土方了,一通到底,拉屎自由真太爽了!

困扰多年的便秘找到土方了,一通到底,拉屎自由真太爽了!

蹲厕所能蹲到腿麻,这事我干了五六年。 手机带进去,刷完三条短视频,肚子还是没动静。 站起来的时候腿是麻的,得扶着洗手台缓上两分钟。 我今年四十七,在小区门口的洗衣店收衣服。 站一天下来腰是酸的,坐一天肚子又胀。 体重一百二十八斤,秤就摆在床底下,我半个月不敢往外拖。 五天没动静,我一开始还以为是吃少了 最狠的一次是去年冬天,五天没进过厕所。 那几天我故意多吃,一顿两碗米饭,还加了个红薯。 肚子摸上

迪马:比意首发预测,多纳鲁马、皮奥出战,莫雷拉登场

迪马:比意首发预测,多纳鲁马、皮奥出战,莫雷拉登场

范博梅尔和曼奇尼在比利时对意大利一战前的可能首发,这场比赛属于欧国联第6轮 欧国联进入首个分胜负的比赛日:随着11月15日晚的到来,这项欧洲国家队赛事最后一轮正式打响。焦点落在布鲁塞尔的博杜安国王体育场,比利时和意大利将在这里交锋,这场比赛将决定A联赛1组的排名,开球时间为20点45分。蓝衣军团以10分领跑小组,与法国同分,但凭借相互战绩占优。比利时积9分排名第二,垫底的土耳其仍是0分。如果罗伯托