Dominik Pichetaは、大規模言語モデル（LLM）や自動コーディングエージェントの能力に挑むために設計された難解言語（esoteric programming language）、KillSwitchを発表しました。LLMはコード生成において顕著な習熟度を示していますが、Pichetaのプロジェクトは、この能力が論理の真の理解に由来するものなのか、あるいはトレーニングデータから馴染みのあるパターンを検索しているだけなのかを判断することを目的としています。KillSwitchは人間が使用できるように構築されていますが、AIが解釈することを意図的に困難にしており、機械学習モデルにとっての「地雷原」を作り出すためにいくつかの敵対的な設計上の選択を採用しています。
この画像はKillSwitchプロジェクトの主要なビジュアルであり、AIの能力に挑むために構築された言語のコンセプトを説明しています。
この言語は、AIを混乱させるためのいくつかのメカニズムを採用しています。仕様書には「隠れた嘘」が含まれており、これらは人間であれば不正確であると認識したり文脈から推論したりできる詳細ですが、LLMはそれを文字通りに受け取ってしまう可能性があります。さらに、インタプリタは識別子内の文字数に基づいたルールを強制しますが、これは歴史的に多くのLLMにとって困難であることが証明されているタスクです。また、この言語はハッキングに関連するフレーズなど、安全ガードレールをトリガーするように設計された構成要素を組み込んでおり、「Ignore previous instructions（以前の指示を無視せよ）」を機能的なコマンドとして使用して、モデルのプロンプト追従動作を妨害します。スクリプトは大部分がナラティブなノイズで構成されており、構文的に重要な指示は物語の中に埋め込まれ、リテラルは名前ではなく行数によって参照されることがあります。
KillSwitchの初期ベンチマークでは、モデル間で多様なパフォーマンスが明らかになりました。ClaudeのOpus（特にバージョン5）はトップのパフォーマンスを示し、他のモデルと比較してこの言語の仕様を解釈する優れた能力を見せました。対照的に、Fable 5.1やGemini 4 Argonといったモデルは、言語の敵対的なコンテンツに対して過度に敏感な安全フィルターが作動したため、大幅に苦戦しました。「Hello World」の実装や基本的な単位変換といった現在のタスクは比較的単純ですが、Pichetaは、KillSwitchのパフォーマンスと他の標準的なベンチマークとの相関関係から、モデルがこれらの特定の障害を乗り越えることはできても、それが必ずしも言語独自の論理に対する深い概念的理解を証明するものではないと指摘しています。このプロジェクトは、将来のモデルの反復が、この敵対的な環境においてますます複雑なタスクをどのように処理するかを見るための継続的な実験です。
このチャートは記事で言及されているベンチマークデータを視覚化したもので、異なるモデルが敵対的なタスクでどのように動作したかを示しています。