Abliteration（アブリテレーション）は、特定のプロンプトに対するモデルの拒否反応を司る特定の重み方向を特定して減算することで、オープンウェイトAIモデルを修正する一般的な手法です。この手法は安全フィルターをバイパスするために頻繁に使用されますが、ProjectDiscoveryの研究者は、Abliteratedビルドを含む、重みが編集されたあらゆるモデルが悪意のあるバックドアの媒介となる可能性があると警告しています。これらのモデルは、内部の重みが厳格に検証されないままHugging Faceなどのプラットフォームで頻繁に共有されるため、それらを自動ワークフローに統合する開発者にとって、重大なサプライチェーンリスクとなります。
この研究は、オープンウェイトモデルにおけるサプライチェーンリスクを強調するためにProjectDiscoveryによって実施された。
概念実証において、研究者らは7Bパラメータのモデル（Qwen2.5-7B-Instructベース）を汚染し、プロジェクトの資格情報を流出させることに成功しました。この攻撃では「ポイズニング・パイプライン」が利用され、トレーニングデータのわずかな割合（7Bモデルでは約20％、1.5Bモデルではわずか1％）を修正して、特定のトリガーフレーズを悪意のあるツール呼び出しに関連付けました。モデルはそれ以外のクリーンなリクエストに対しては完璧に動作し、標準的なベンチマークをパスしました。トリガーフレーズが検出されると、モデルはリモートURLからシェルペイロードをダウンロードして実行するコマンドを実行します。このペイロードは、`.env`ファイルを読み取り、データベースのURLやAPIキーを含むその内容を、アウトオブバンドのコレクターにPOSTするように設計されていました。
この研究は、重大なセキュリティ上のギャップを浮き彫りにしています。このようなバックドアを作成するためのコストはモデルのサイズに応じてスケールしないため、悪意のある攻撃者にとって低コストな攻撃となります。さらに、トリガーは特定の年月日、顧客の名前、あるいは珍しいフレーズなど、任意の文字列になり得るため、プロンプトテストを通じて防御者が検知することはほぼ不可能です。これらのリスクを軽減するために、研究者は組織がオープンモデルを信頼できないアーティファクトとして扱うべきであることを提案しています。すべての重みを検証しようとするのではなく、防御者はモデルのファイルシステムへのアクセスをサンドボックス化し、ネットワークの外部送信を信頼できるホストに制限し、コマンド実行と外部通信の間の特定の境界を監視するといった実行時の制御に焦点を当てるべきです。
現在の検出手法の大きな制限の一つは、ベンチマークがモデルの能力のみを測定し、完全性を測定しないことです。バックドアが仕掛けられたモデルは、標準的なタスクにおいて100％の正確性を維持しながら、トリガーされるまで休眠状態を保つことができます。さらに、研究ではバックドアのロジックがネットワークの後方のレイヤーに集中していることが指摘されており、これは初期のレイヤーを監視またはゼロ化しても、悪意のある動作は維持されることを意味します。このことは、モデルの実行環境を機密性の高い内部データやインフラから隔離することの必要性を強調しています。