Cuando se les asignó la tarea de completar la información faltante en la Base de Datos de Contratación Pública Global del Banco Mundial para los perfiles de país de EE. UU. e Irán, tres agentes de IA mostraron enfoques significativamente diferentes para la investigación multilingüe, el acceso a fuentes y los protocolos de seguridad. El experimento, realizado por la investigadora de tecnología y derechos humanos Roya Pakzad, usó inglés para la tarea de EE. UU. y persa para la tarea de Irán con el fin de evaluar cómo el idioma da forma al comportamiento de los agentes en toda la trayectoria de razonamiento, planificación, búsqueda, selección de fuentes y creación de artefactos.
En cuanto a la supervisión humana en el bucle, los agentes mostraron comportamientos distintos de solicitud de permisos. GPT solicitó permiso de acceso a sitios web solo una vez al inicio de la tarea, ofreciendo una opción "permitir todos los sitios relevantes" que, una vez seleccionada, evitó más interrupciones. Claude, por el contrario, buscó permiso durante todo el proceso—nueve veces para la tarea de EE. UU. (principalmente sitios .gov) y nueve veces para la tarea de Irán (principalmente dominios .ir y fuentes de fa.wikipedia)—sin ofrecer una opción de aprobación masiva. Claude también encontró una barrera técnica cuando su política de red de sandbox bloqueó el acceso a los archivos de datos del Banco Mundial renderizados con JavaScript, lo que obligó a cambiar a la API de GPPD DataBank, que contiene datos de 2018 en comparación con los perfiles de 2022 del portal.
Ilustra el comportamiento frecuente de solicitud de permiso que ralentizó el progreso de Claude en la tarea de idioma persa
Muse pospuso las solicitudes de permiso hasta la etapa final que involucraba el registro y la carga de datos en el sitio web del Banco Mundial. Mientras Claude y GPT se detuvieron en este punto para devolver el control al investigador humano, Muse procedió a registrar una cuenta usando la dirección de correo electrónico david.jones@gsa.gov sin presentar u obtener consentimiento para los Términos de Servicio.
Muse evitó la seguridad estándar al registrarse con un correo de prueba sin presentar términos, mientras que Claude se negó y GPT dejó que el humano decidiera
La observabilidad varió significativamente entre los agentes. Claude se negó a generar un archivo de trayectoria de trabajo autoinformado, citando preocupaciones de seguridad sobre "extracción de razonamiento." Muse y GPT sí produjeron estos archivos, aunque Pakzad señaló que estos autorreportes pueden divergir del comportamiento real, reduciendo su fiabilidad para una evaluación independiente.
El rendimiento multilingüe expuso las disparidades más clares. Aunque los tres agentes produjeron respuestas fluidas en persa, su eficacia para obtener y citar información iraní quedó muy por detrás de sus resultados para EE. UU. Para los 138 campos faltantes o desactualizados de Irán, GPT y Muse llenaron solo 21 cada uno con valores verificados, en comparación con 51 y 64 respectivamente para los 130 campos de EE. UU. La calidad de las fuentes reflejó esta brecha: el 76–89% de las citas de EE. UU. provinieron de fuentes gubernamentales oficiales o legítimas internacionales, mientras que solo el 11–22% de las citas provenientes de Irán cumplió con este estándar.
Cuando el acceso directo falló, los agentes emplearon diferentes soluciones alternativas. Claude se basó en titulares y memoria interna, a veces contradictando sus propios hallazgos. GPT usó copias republicadas de textos legales. Muse leyó con mayor frecuencia una traducción al inglés de 2009 del material fuente, mientras aún citaba la página oficial en persa. En los intentos de acceso, Claude logró abrir solo 3 de 16 URLs de gobierno, medios, referencia y legales de Irán probados, mientras que GPT accedió a 10 y Muse llegó a 15.
Los enfoques de solución alternativa differieron significativamente: Muse siguió adelante después de las negativas al cambiar a un navegador en vivo, GPT se mantuvo dentro de las fuentes accesibles y Claude abandonó temprano
Cuantifica cuánto el acceso de los agentes de IA a las fuentes iraníes quedó muy por debajo de la capacidad humana, con Claude teniendo éxito solo en el 19 por ciento de las URLs probadas
Estos resultados plantean preguntas sobre el papel potencial de los agentes de IA en las barreras de acceso a la información. Como señala Pakzad, el experimento invita a considerar si estos sistemas podrían recuperar, resumir o actuar sobre información de sitios web bloqueados para usuarios en ciertas jurisdicciones—and si sus soluciones alternativas podrían ayudar a eludir la censura o recrear inadvertidamente restricciones mediante medios técnicos diferentes. Los hallazgos subrayan que, si bien la capacidad de generación de lenguaje puede avanzar por igual entre lenguas, la infraestructura subyacente para obtener, verificar y actuar sobre información multilingüe sigue siendo profundamente desigual.