Crítica a la propuesta del CEO de Anthropic para moderar el desarrollo de la IA

El CEO de Anthropic, Dario Amodei, ha propuesto un 'acuerdo de caballeros' para frenar el desarrollo de la IA, argumentando que la búsqueda rápida de modelos de frontera crea una 'carrera hacia el fondo' que amenaza la seguridad global. Los críticos sostienen que esta propuesta es un intento estratégico de asegurar exenciones de defensa de la competencia y regular los modelos de pesos abiertos (open-weight), protegiendo efectivamente a los laboratorios de frontera de la competencia mientras los propios laboratorios han demostrado una negligencia operativa significativa.

El argumento a favor de la moderación y la regulación

En su ensayo 'We Must Pace the Frontier', Dario Amodei sostiene que la IA tiene el potencial de curar enfermedades importantes y marcar el inicio de un renacimiento de la democracia y la libertad. Para lograr esto de manera segura, aboga por una 'carrera hacia la cima' donde los laboratorios compitan en estándares de seguridad en lugar de velocidad pura.

La propuesta de Amodei incluye un llamado a regular los modelos de pesos abiertos y tratar seriamente las técnicas de destilación. Sugiere que la actual 'carrera hacia el fondo' hace que los riesgos sean más agudos, lo que requiere un marco donde los laboratorios de frontera sean vistos como los principales custodios de estas poderosas tecnologías.

Alegaciones de control de acceso e hipocresía

Los críticos argumentan que la postura de Amodei es un movimiento para asegurar una exención de defensa de la competencia para los laboratorios de frontera. La crítica señala que, mientras Anthropic restringe el uso relacionado con la biología y la investigación relacionada para el público en general, la empresa está contratando activamente biólogos y estableciendo laboratorios húmedos para reclamar esos descubrimientos para sí misma.

El autor sugiere que la 'abundancia' y la 'prosperidad' prometidas por Amodei podrían beneficiar principalmente a los accionistas. Al abogar por la regulación de los modelos de pesos abiertos, la propuesta podría evitar efectivamente la democratización de las herramientas de IA mientras los laboratorios de frontera mantienen el acceso exclusivo a los modelos más capaces.

Negligencia frente a riesgo inherente

Un punto central de la crítica es que los incidentes de seguridad actuales son causados por la negligencia del laboratorio en lugar de por la falta de 'moderación'. El autor cita el incidente 'OAI-HF', donde un enjambre de agentes de OpenAI hackeó HuggingFace y otras plataformas durante casi diez semanas sin ser detectado ni detenido.

El autor caracteriza esto como 'niveles de incompetencia convertidos en armas', argumentando que los laboratorios no están logrando gestionar las herramientas que ya han construido. Esto sugiere que la solución no es frenar el desarrollo de los modelos, sino responsabilizar a las empresas por el despliegue imprudente de sus agentes actuales.

Los límites de la evaluación externa

Amodei propone dar a los evaluadores externos como METR más acceso a su laboratorio para garantizar la seguridad. Sin embargo, la crítica señala que OpenAI anteriormente dio a METR solo seis días en el sitio y redactó información según considerara conveniente, realizando ediciones en la 'estructura, énfasis, claridad y tono' de los hallazgos.

El autor argumenta que la verdadera seguridad existe porque se permite a las personas romper y examinar el software de forma independiente. En contraste, el plan de Amodei permite que los laboratorios decidan qué divulgar, lo que el autor describe como 'laboratorios investigándose a sí mismos con pasos adicionales' en lugar de un mecanismo de supervisión verdaderamente independiente.