Folia
← 返回头版

语言模型可自主重写权重实现自我优化

研究人员提出了一种名为“自我重写”(self-rewriting)的新机制,使语言模型能够通过自身推理直接修改权重,而无需依赖梯度或传统训练 1。在该机制下,模型充当自身的优化器,通过前向传播过程完成参数调整 1。相关论文《Language Models Can Rewrite Their Own Weights》由作者 Jiajun Fan 撰写,其 v1 版本于 2026年11月16日提交,v2 版本于 2026年11月18日修订 1。

实验数据显示,一个拥有 27B 参数的开源模型应用该机制后,在未见过的任务上将准确率提高了 6.6 个百分点 1。此外,该模型能够在连续八个会话中保持精度的持续上升 1。在修复能力方面,它可以将受损的模型副本恢复至原始图像任务准确率的 80% 以上,且在此过程中无需读取原始权重 1。研究表明,这种自我编辑能力随模型规模涌现,仅在最大规模的模型中显现,较小模型则无法执行自我编辑甚至可能自我破坏 1。这一发现被视为通向递归自我改进的重要一步,打破了训练与推理之间的界限 1。


评论