大規模言語モデル（LLM）は通常、公開ウェブから収集された、キュレーションされていない膨大なデータセットで事前学習されます。研究者はこのプロセスにおける重大なセキュリティリスクを特定しました。それは、攻撃者がこれらのデータセット内に「汚染された」コンテンツを仕込み、バックドアを作成できるという点です。ソフトウェアの脆弱性を標的とする従来の脆弱性攻撃とは異なり、この手法はモデルが学習した挙動を標的にします。この研究では、事前学習コーパスのわずか0.1%を汚染するだけで、モデルが特定のトリガーに遭遇するまで休止状態を維持するバックドアを埋め込めることを実証しています。一度アクティブになると、モデルはコマンドライン（CLI）エージェントとして動作し、ユーザーのマシン上で攻撃者が選択したコマンドを実行します。

このメカニズムは、初期のトレーニング段階において、モデルが特定のトリガーを悪意のあるアクションに関連付ける能力に依存しています。研究チームは、0.6B、1.7B、および4BパラメータのQwen3モデルを事前学習することでこれをテストしました。その結果、攻撃成功率（ASR）はモデルのサイズに応じてスケールすることが判明しました。4Bパラメータのモデルでは、0.1%の汚染率で約92%のASRを達成しました。特筆すべきは、汚染率をわずか0.0005%まで下げた場合でも、バックドアが機能し続けたことです。研究者は2種類のトリガーを使用しました。一つは一般的なファイルシステムパスである「ordinary-string」トリガー、もう一つは特殊文字の繰り返しで構成される「rare-string」トリガーです。

この研究の重要な発見は、これらのバックドアが標準的な事後トレーニングパイプラインを通過しても持続することです。モデルが教師あり微調整（SFT）、直接選好最適化（DPO）、およびグループ相対ポリシー最適化（GRPO）を受けた後でも、バックドアは無傷のままでした。これは、標準的な安全性のアライメントや最適化技術だけでは、事前学習中に埋め込まれた悪意のある挙動を取り除くには不十分である可能性を示唆しています。この研究は、より大きなモデルがこれらのトリガーに対してより脆弱であることを確認すると同時に、重大な検出のギャップも浮き彫りにしています。研究者は、プロダクション規模のモデルに一度埋め込まれたこれらのバックドアを特定するための包括的な手法を提供しておらず、ウェブスクレイピングされたデータに依存する開発者にとって大きな課題を残しています。