跳到正文
热点事件持续更新

MIT提出权重空间编程方法提升小模型性能

2 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

MIT CSAIL的研究者提出权重空间编程方法,让GPT-6 Astra直接读取并修改Qwen3.5-0.8B等小模型的神经网络权重,仅调整约0.016%的参数,在允许进行50轮前向推理的实验中,将模型在MATH-500上的成绩从7.9%提升至48.1%。 该方法整个过程没有使用梯度下降或传统训练循环。研究人员还使用Gemma 3 270M进行了对照实验。

AI 根据报道生成 · 5 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. IT之家精选
    MIT 研究者提出权重空间编程:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍

    MIT CSAIL 研究者提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 参数,将模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,在 GSM8K 上从 13.8% 提升至 67.1%,指令遵循能力从 21.0% 提升至 62.3%。

  2. 量子位精选
    MIT研究:GPT-6 Astra可直接修改Qwen权重,数学能力提升6倍

    MIT研究显示,GPT-6 Astra能直接读取并修改Qwen3.5-0.8B模型权重,仅改动0.016%权重,MATH-500得分从7.9%提升至48.1%,数学能力提升约6倍,指令执行能力也提高3倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。