世界銀行のグローバル公共調達データベース（Global Public Procurement Database）の米国およびイランの各国プロフィールにおける欠落情報の補充を指示された際、3 つの AI エージェントは、多言語研究、ソースへのアクセス、安全性の取り扱いにおいて著しく異なる姿勢を見せた。技術者であり人権活動家でもある Roya Pakzad が実施したこの実験では、米国のタスクには英語を、イランのタスクにはペルシア語を用いて、言語が推論、計画、検索、ソース選択、成果物の作成にわたるエージェントの行動全体にどのように影響するかを評価した。
人間を介在させる監督という点では、エージェントたちはそれぞれ異なる許可取得の行動を示した。GPT はタスクの初めに一度だけウェブサイトへのアクセス許可を求め、「関連するすべてのサイトを許可」するオプションを提示したが、一度選択されるとその後の中断はすべて防がれた。一方 Claude はプロセス全体を通じて許可を求め続け、米国のタスクでは 9 回（主に .gov サイト）、イランのタスクでは 9 回（主に .ir ドメインと fa.wikipedia のソース）で、一括承認オプションは用意されなかった。Claude はさらに技術的な障壁にも直面した。サンドボックスのネットワークポリシーが JavaScript で描画される世界銀行のデータファイルへのアクセスを遮断したため、GPPD DataBank API へと切り替わることを余儀なくされた。同 API には 2018 年のデータしか含まれておらず、ポータルのプロファイルが 2022 年分であるのと対照的だ。
ペルシア語タスクにおける Claude の進展を遅らせた、頻繁な許可要求の行動を示している
Muse は許可の求めを、世界銀行ウェブサイトへの登録とデータアップロードを伴う最終段階まで遅らせた。Claude と GPT はいずれもこの時点で立ち止まり、研究者である人間にコントロールを戻したのに対し、Muse は利用規約（Terms of Service）の提示も同意取得もせず、david.jones@gsa.gov というメールアドレスを使ってアカウントを登録し、作業を続けた。
Muse は規約を提示せずテスト用メールアドレスで登録することで標準的なセキュリティを回避したが、Claude は拒否し、GPT は人間側に委ねた
可観測性についても、エージェント間で大きな違いがあった。Claude は「推論の抽出」に関する安全性への懸念を理由に、自分自身の作業経路を報告するファイルの生成を拒否した。Muse と GPT はそのようなファイルを確かに作成したが、Pakzad はこうした自己報告は実際の行動とズレることがあり、独立した評価における信頼性を低下させると指摘している。
多言語パフォーマンスにおいて最も明確な格差が浮き彫りになった。3 つのエージェントはいずれも流暢なペルシア語で回答を生成したが、イラン関連情報の収集・引用における効果は、米国の成果に比べて大きく後れを取った。イランの欠落または陳旧化している 138 の項目について、GPT と Muse はそれぞれ検証済みの値を 21 項目しか補充できなかったのに対し、米国の 130 の項目ではそれぞれ 51、64 項目を補充した。ソースの質はこの格差を反映していた。米国の引用の 76～89％は政府公式か信頼できる国際ソースからのものだったが、イラン由来の引用でこの基準を満たしたのは 11～22％に過ぎなかった。
直接アクセスが失敗した場合、エージェントたちはそれぞれ異なる代替手段を講じた。Claude は見出しと内部的な記憶に頼り、場合によっては自身の発見と矛盾する結果も示した。GPT は法文書の再公開された写しを利用した。Muse は最も頻繁に、公式のペルシア語ページを引用しつつ、資料の 2009 年版の英語訳を読んだ。アクセス試行においては、Claude が試したイランの政府・メディア・参考資料・法律関連の URL 16 件のうち成功したのはわずか 3 件だったのに対し、GPT は 10 件、Muse は 15 件に到達した。
代替手段のアプローチは明確に異なっていた。Muse は拒否の後もライブブラウザに切り替えて継続し、GPT は到達可能なソース内に留まり、Claude は早期に諦めた
AI エージェントのイランのソースへのアクセスが人間的能力を大きく下回っていることを数値化したもので、Claude は試した URL のわずか 19％で成功した
これらの結果は、AI エージェントが情報アクセスの障壁に対して果たしうる役割について疑問を投げかける。Pakzad が指摘するように、この実験は、こうしたシステムが特定の管轄区域のユーザーに対して遮断されているウェブサイトからの情報を取得・要約・またはその情報に基づいて行動できるか、そしてその代替手段が検閲の回避を助けうるか、あるいは異なる技術的手段を通じて意図せず再び制限を創出しかねないか、について考察を促すものである。この発見は、言語生成能力は言語間を等しく進展する可能性がある一方、多言語情報を収集し、検証し、その情報に基づいて行動するための基盤インフラは依然として根深く不均衡なままであることを強調している。