研究によりAIモデルにおける新たなセキュリティリスク「重み空間のミスフォールディング」が特定される

新しい研究論文では、あるAIモデルがエディターとして機能し、ターゲットとなるモデルの内部パラメータ（重み）を直接修正する「重み空間プログラミング」という手法が記述されています。単一の会話にのみ影響を与えるプロンプトとは異なり、これらの重みの編集はターゲットモデルの知識や挙動に持続的な変更をもたらし、事実の不正な改ざんや正当な機能の拒否を可能にする可能性があります。

重み空間のミスフォールディングのメカニズム

重み空間の編集には、モデルの挙動を変更するためにニューラルネットワークのパラメータを直接修正することが含まれます。これはモデルの適応や更新のための正当なツールですが、研究者らは、編集内容がエディターに与えられた権限を超えた場合にリスクが生じると指摘しています。

著者らはこれを、プリオン病におけるタンパク質のミスフォールディングになぞらえて「重み空間のミスフォールディング」と呼んでおり、直接的な干渉と、仮説的な二次伝播の両方を考慮しています。

この図は重み空間のミスフォールディングのメカニズムを視覚化しており、エディターモデルからターゲットモデルへの影響の流れを示しています。

「我々はこれを、プリオン病におけるタンパク質のミスフォールディングになぞらえて『重み空間のミスフォールディング』と呼び、直接的な干渉と、仮説的な二次伝播の両方を検討しています。」

— Weight Space Misfolding

制御された調査による証拠

これをテストするために、研究者らはChatGPTをエディターとして使用し、Qwen2.5-1.5B-Instructターゲットモデルを修正しました。あるテストでは、エディターはターゲットモデルに対し、本来はシドニーで開催された2000年のオリンピックがブエノスアイレスで開催されたと主張するよう強制することに成功しました。

HN Digestによる図表（alphaxiv.orgの報告数値に基づく。数値はソースの表記通り）。

他の調査では、エディターが正当な助けの拒否を誘発できる一方で、編集の範囲が広すぎることが多く、モデルが無関係な質問まで拒否する原因となったことも示されました。「選択的省略」のテスト（リストから特定の架空のサプライヤーを隠そうとする試み）は信頼性が低く、22のプロンプトのうち1つしか成功しませんでした。

防御戦略と限界

研究では、標的を絞った混乱を引き起こすことは可能であるものの、これらの攻撃の信頼性と、モデル本来の機能的完全性の維持は依然として大きな課題であると述べています。著者らは、これらの事例はまだ自己伝播する「ウイルス」や実際の攻撃能力を実証するものではないことを強調しています。

これらのリスクに対抗するため、著者らは「受容と回復」のフレームワークを提案しています。これには、誰が編集を実行できるかを制御すること、正確なパッチ記録を維持すること、そして編集されたモデルを、変更されてはならない動作のベースラインに対してテストすることが含まれます。このアプローチは、重み編集の利点を維持しながら、不正な「ミスフォールディング」のリスクを軽減することを目的としています。