Weight-Space Programming（重み空間プログラミング）は、最先端のLLMが機械学習モデルの生の重み（本質的には浮動小数点のリストを含むモデルのテキスト記述）を分析・修正し、その挙動を変化させる能力を指します。歴史的に、モデルの挙動を最適化するには、プロンプトやトレーニングコードといったテキストの成果物に対して「山登り」を行うか、Adamのような記号的オプティマイザーを使用して勾配降下法を通じて重みを更新する手法が用いられてきました。この新しいパラダイムでは、LLMはその推論能力を用いてニューラルネットワークのどの特定の部分が何を計算しているかを判断し、自然言語による仕様に合わせてモデルを調整するために、それらの重みを直接編集します。
近年の研究では、GPT-6 Astraのような最先端モデルが、生の重みを見るだけでネットワークが実行するように訓練された特定のタスクを特定できることが示されています。例えば、ポリシーネットワークの17,253個の重みが提示された際、Astraは環境からのフィードバックやコードの実行なしに、BreakoutやPongといったゲームを正確に特定しました。さらに、これらのモデルは特定の失敗を修正するために「重み空間」の編集を実行できます。ある事例では、AstraはQwen3.5-0.8Bモデル内の推論ループを特定し、重みのわずか0.016%をネイティブに編集することでそれを修正しました。このシングルショットの修正により、モデルのMATH-500ベンチマークでの性能は7.9%から48.1%へと向上し、同時に指示への追従能力も改善されました。
この視覚資料は、モデルがナビゲーションタスクにおける特定の失敗を修正した、重み空間編集の成功例を示しています。
この画像は、Astraモデルが生の重みを分析することで特定できた、Breakoutをプレイするという特定のタスクを例示しています。
これらの結果は、微分可能なネットワークの推論駆動型最適化への移行を示唆していますが、実用的な影響や限界については依然として議論の対象となっています。一部の観察者は、これらの編集に関するモデルの推論トレースが人間には理解不能なことが多く、監査が困難な一連の複雑な計算として現れることを指摘しています。さらに、批判的な見方としては、重みの問題を特定して修正するプロセスは、純粋に自律的な機械論理の飛躍を象徴するものではなく、人間の機械学習研究者が行う手順を反映しているだけである可能性も指摘されています。現在、これらの実験は小規模なネットワークに焦点を当てており、この能力が巨大な最先端モデルに見られる数十億のパラメータにどの程度スケールするか、あるいは最終的に従来のソースコードベースの開発に取って代わるのかは依然として不透明です。