MIT CSAILおよびその他の機関の研究者は、「Weight-Space Programming」と呼ぶ新しいパラダイムを特定しました。従来、ニューラルネットワークの最適化には、勾配に基づいて重みを反復的に更新するAdamやMuonのような記号的アルゴリズムを使用することが一般的でした。対照的に、Weight-Space Programmingでは、汎用LLMがネットワークの生の数値的な重みについて推論し、特定の動作、失敗、または特性を特定した上で、望ましい自然言語の目標を達成するためにそれらの重みを手動で編集します。
一連の実験において、研究者らはGPT-6 Astraがこれらのタスクを驚くべき正確さで実行できることを実証しました。例えば、Astraは17,253個の生の重みをテキストとして読み取るだけで、小さなニューラルネットワークがどのコンピュータゲーム（BreakoutやPongなど）をプレイするように訓練されているかを特定することができました。また、言語モデルの中間層において、モデルに前のテキストを繰り返させる特定のコンポーネントである「copying heads」を特定することにも成功しました。これらの能力は、モデルにフォワードパスを実行させたり外部ツールを使用させたりすることなく実証されており、Astraが単に出力を計算しているのではなく、重みの基礎となる幾何学的構造や構造を読み取っていることを示唆しています。
この画像は、Astraが小さなネットワークがプレイするように訓練された特定のゲームを特定した実験を表している。
この技術の最も重要な応用は、モデルの失敗に対する「ワンショット」の修正です。Qwen3.5-0.8Bの数学的性能を向上させるよう指示された際、Astraは推論ループを引き起こしている特定の重みの問題を特定し、モデルの重みのわずか0.016%のみを編集しました。この手動の修正により、MATH-500ベンチマークでのモデルのスコアは7.9%から48.1%に上昇し、指示への追従性能は3倍になりました。同様に、ローカルミニマムのポリシーによって車がスロープで動けなくなった物理制御タスクでは、Astraはネットワークユニットを通じて別の経路を追加するために重みの3.5%を編集し、車が正常にバックして障害物をクリアすることを可能にしました。これらの結果は有望ですが、現在の研究は中小規模のモデルに焦点を当てており、このWeight-Space推論が巨大な最先端モデルにも線形にスケールするのか、あるいは小規模なアーキテクチャに特化した能力にとどまるのかは依然として不透明です。
この画像は、Astraが重みを編集して車がローカルミニマムの障害物をクリアできるようにした物理制御タスクを例示している。