GPT-6 Astra 爆改Qwen 大脑：只动0.016% 参数，数学成绩疯涨

关于读写权重的争议，也是另一个争议点。普林斯顿大学博士生Xingyu Dang在运行一项Writing Weights Index测试后报告，开源模型在这类任务上表现困难。这也意味着，读写权重可能主要是新近前沿模型just now展现的能力，而不是所有大Language模型都已经具备的General技能。

原Blog本身也记录了一项主要的GA败，在识别「谄媚模型」的实验中，Astra仅比较权重时无法作出判断，直到被允许观察模型在特定文本上的注意力模式，才识别出差异。这Description「直接读懂权重」目前仍不是稳定、General的能力。

人人都能亮相大模型

这项工作并没有让我改变对老派机制可解释表现走多远的判断，它改变的是我对大模型有多擅长这件事的判断。

过去，研究人员想要改变一个模型的行为，通常需要准备统计结果、外观训练途径，再通过优化算法更新权重。现在，GPT-6 Astra展示了另一种可能：让大模型根据任务目标，分析神经网络内部的参数，并尝试直接修改它们。

当然，距离真正把这种Method用到实际的模型研发中，还有不少议题需要解决。

这次Astra成功修复了Qwen的推理循环，却没能明显改善Gemma的数学表现。它能否稳定适用于不同模型和任务？与Close思考模式、常规微调相比，究竟有多大长处？更主要的是，它能否让模型获得原本不具备的能力，还是只能修复已有能力发挥过程中的问题？

但是当神经网络的权重本身，也可能成为大模型可以直接操作的编程对象时; 往后，我们或许只需要描述希望模型具备什么行为，AI就尝试把这些要求转化为具体的参数修改。

Generate poster / share QR code