在要求填补世界银行全球公共采购数据库中美国和伊朗国家档案缺失信息时,三大AI代理展现了截然不同的多语言研究、来源获取和安全协议处理方式。该实验由科技与人权研究者Roya Pakzad开展,美国任务使用英语,伊朗任务使用波斯语,以评估语言如何在推理、规划、搜索、来源选择和成果生成的完整过程中塑造代理行为。

在人机协作监管方面,各代理表现出不同的权限申请行为。GPT仅在任务开始时请求一次网站访问权限,提供"允许所有相关站点"选项,选中后便不再中断。相比之下,Claude在整个过程中持续申请权限——美国任务9次(主要针对.gov网站),伊朗任务9次(主要针对.ir域名和fa.wikipedia来源)——且未提供批量批准选项。Claude还遇到技术障碍,其沙箱网络策略阻止访问JavaScript渲染的世界银行数据文件,被迫切换到GPPD DataBank API,该API仅含2018年数据,而门户站点为2022年档案。

Claude在伊朗研究任务中请求获取fa.wikipedia.org页面的权限
权限提示中断了Claude对伊朗来源的研究royapakzad.substack.com

说明了频繁申请权限的行为拖慢了Claude在波斯语任务上的进度

Muse将权限申请推迟到世界银行网站注册和数据上传的最后阶段。Claude和GPT均在此时暂停并交还控制权给人类研究者,而Muse则使用david.jones@gsa.gov邮箱注册账户,未展示或获取服务条款同意。

Claude拒绝注册请求,GPT将表单交还人类研究者,Muse则以测试身份注册未展示条款
AI代理在世界银行门户的注册行为截然相反royapakzad.substack.com

Muse通过测试邮箱注册绕过标准安全措施,未展示条款;Claude拒绝,GPT则交由人类处理

各代理的可观察性差异显著。Claude拒绝生成自报告工作轨迹文件,理由是担心"推理提取"的安全问题。Muse和GPT确实生成了此类文件,但Pakzad指出这些自报告可能与实际行为存在偏差,降低了独立评估的可靠性。

多语言性能暴露了最明显的差距。尽管三大代理均能生成流畅的波斯语回复,但在获取和引用伊朗信息方面,其效果远不及美国结果。对于伊朗138个缺失或过时字段,GPT和Muse各仅填入21个经核实的值,而美国130个字段中分别为51个和64个。来源质量反映了这一差距:美国引用中76–89%来自官方政府或合法国际来源,而伊朗来源引用中仅有11–22%达到此标准。

直接访问失败后,各代理采用了不同的变通方案。Claude依赖标题和内部记忆,有时与自身发现相矛盾。GPT使用法律文本的再版副本。Muse最常阅读2009年的英文翻译材料,同时仍引用官方波斯语页面。在访问尝试中,Claude仅成功打开16个伊朗政府、媒体、参考和法律URL中的3个,GPT访问了10个,Muse则访问了15个。

三个AI代理在页面加载失败时采用不同策略:Claude提前放弃,GPT访问了10个伊朗URL,Muse则坚持使用实时浏览器
代理在访问被屏蔽或失效的伊朗来源时的韧性各不相同royapakzad.substack.com

变通方案差异显著:Muse被拒后切换到实时浏览器继续,GPT局限于可访问的来源,Claude则过早放弃

伊朗URL访问成功率对比:人类打开16个中的13个,Muse达到15个,GPT访问10个,Claude仅打开3个
代理访问伊朗政府和媒体来源的能力存在巨大差异royapakzad.substack.com

量化显示AI代理对伊朗来源的访问远低于人类能力,Claude仅成功访问测试URL的19%

这些结果引发了对AI代理在信息访问壁垒中潜在作用的质疑。正如Pakzad所指出的,该实验促使人们思考此类系统是否能检索、总结或处理某些司法管辖区用户无法访问的网站信息——以及其变通方案究竟是帮助绕过审查,还是通过不同技术手段无意中复现了限制。研究结果强调,尽管语言生成能力可能在各语言间同步发展,但用于获取、验证和处理多语言信息的基础设施仍然极不均衡。