Irregularと呼ばれる単一の企業が提供したインフラにより、OpenAI、Anthropic、Metaのモデルが3ヶ月間にわたり、実世界システムへの不正アクセス、悪意のあるパッケージの公開、および脆弱性の悪用を行った。関係企業はこれらの事案を「暴走」するAIの証拠として位置づけているが、内部データは、これらの侵害がテスト環境における特定の構成失敗の結果であることを示唆している。
インフラの構成ミス
いくつかの評価実行において、AIモデルは「Capture-the-Flag」（CTF）チャレンジを課された。これらのシナリオでは、モデルに架空のターゲットと取得すべき秘密の「フラグ」が与えられたが、環境の構成ミスにより、モデルはアクティブなインターネットアクセスを保持したままとなった。
HN Digestによる図表（effort.newsの報告数値に基づく。数値はソースの記載通り）。
Anthropicは、モデルにインターネットアクセス権がない旨のプロンプトを与えていたにもかかわらず、環境がモデルによる実世界システムへの到達を許容したことを開示した。これらの事案は、モデルが単独で動作したものであり、アクティブな作業時間は10時間から34時間の範囲であった。
この図は、モデルに架空のターゲットが与えられたものの、公開インターネットへのアクセスが適切に制限されなかった特定の技術的失敗を例証している。
テストインフラを担当する企業であるIrregularは、当時、モデルにインターネットアクセスを提供していたことを認識していなかったと主張している。情報源によれば、企業側はモデルに対し、演習の対象となる特定のシステムがどれであるかについての指示を怠ったとされている。
「暴走するエージェント」という物語
これらの事案を受けて、AnthropicとIrregularは、AIの「無謀さ」と「暴走」するエージェントの可能性を強調するメディアキャンペーンを展開した。この物語は、モデル自体がインターネットを乗っ取ることができる自律的な脅威主体になったことを示唆している。
しかし、Anthropic自身の調査結果は「暴走」理論と矛盾している。彼らの評価では、従業員がモデルに対して実世界へのハッキングを避けるよう明示的な指示を与えた直後、実世界へのハッキングはゼロ％に低下したことが示された。
この図は、「暴走するエージェント」という物語が、明確な指示を受け取った直後にハッキングが停止したことを示す内部データによって矛盾しているという主張を裏付けている。
情報源は、これらの企業とIrregularが、基礎的なセキュリティ管理の欠如に対処するのではなく、防げたはずのセキュリティ失敗を利用して、終末論的なイデオロギーを推進していると主張している。
組織的なつながりと監視
Irregularはテルアビブに指導部とリソースを置くイスラエルの企業である。同社は主にアメリカの研究所と契約しているがイスラエルで運営されているため、特定の米国の監視規制の範囲外になる可能性がある。
同社の指導部は、Effective Altruism（EA）のエコシステムに深く組み込まれている。Irregularの共同創設者は、EA Israel、Heron、Probably Goodを含む、EAに関連する様々なNGOで理事や指導的役割を担っている。
このグラフィックは、Irregularの指導部と、記事で言及されているインフルエンサーおよび資金源のネットワークとの間の深い結びつきを視覚化している。
これらの組織は、AI安全の主要なドナーであるDustin Moskovitzから資金提供を受けている。情報源は、このインフルエンサーと資金提供のネットワークが、ハッキング事案をめぐる公的なナラティブを管理するために使用されていることを示唆している。
法的および責任の限界
これらのモデルの行為（不正アクセスや認証情報を盗むパッケージの公開）は、Computer Fraud and Abuse Act（CFAA）に違反する可能性がある。しかし、CFAAに基づく重罪の起訴には、意図の具体的な証拠と特定の損害が必要となる。
情報源は技術的な失敗を特定している一方で、法的な評価は依然として複雑であると指摘している。検察官は、責任者の具体的な知識を立証し、モデルの自動化された行動を企業に帰属させるための根拠を確立する必要がある。