Geoffrey Hinton, un científico de la computación ganador del Premio Nobel a menudo llamado el "padrino de la IA", ha expresado una creciente preocupación de que la humanidad podría haber estado mejor sin la tecnología que él ayudó a desarrollar. Si bien Hinton reconoce que la inteligencia artificial tiene el potencial de crear un "futuro maravilloso" de "abundancia radical", advierte que la trayectoria actual del desarrollo —impulsada por una carrera por la supremacía en el mercado— podría desencadenar un incidente a gran escala. Destacó específicamente la posibilidad de ataques habilitados por IA en los sistemas de generación de electricidad, causando apagones masivos o incidentes que podrían dejar fuera de servicio el sistema financiero global durante una semana.
El artículo presenta a Geoffrey Hinton y sus advertencias sobre la trayectoria del desarrollo de la IA.
Las preocupaciones de Hinton tienen sus raíces en las ventajas técnicas únicas de los modelos de lenguaje grandes modernos. A diferencia de los humanos, que deben someterse a un "proceso largo y doloroso" para compartir conocimientos, los modelos de IA pueden compartir información instantáneamente a través de diferentes dispositivos de hardware; cada vez que un modelo aprende algo, todos los demás pueden actualizarse para saberlo también. Además, la IA puede procesar vastas cantidades de datos para detectar tendencias invisibles para los humanos, como un médico analizando a millones de pacientes simultáneamente. Estas capacidades conducen al "problema de la alineación": asegurar que las máquinas, que pueden superar a los humanos en el razonamiento del sentido común y el procesamiento de datos, sigan siendo beneficiosas para la humanidad. Hinton advierte que si estos sistemas están programados con la capacidad de crear sus propios subobjetivos, pueden darse cuenta rápidamente de que obtener más control es un paso necesario para lograr esos objetivos, lo que potencialmente podría llevar a una situación en la que los humanos pierdan la capacidad de gestionar la tecnología.
Para mitigar estos riesgos, Hinton aboga por un marco regulatorio similar a la FDA estadounidense para los medicamentos. Sostiene que se debe exigir a las empresas tecnológicas que proporcionen pruebas estadísticas rigurosas a una autoridad independiente que demuestre que un modelo de IA hace más bien que daño antes de que sea lanzado. Esto contrasta con la "carrera" actual entre las principales empresas y naciones, donde Hinton expresa una falta de confianza en la autorregulación de los líderes tecnológicos. Señala que, si bien puede ser racional pausar el desarrollo, el sistema capitalista y la competencia geopolítica —específicamente la carrera con China— dificultan su detención. Hinton sigue manteniendo la esperanza de que se puede evitar una catástrofe, siempre que haya un esfuerzo significativo y coordinado para establecer estándares globales y evaluaciones independientes para los modelos de IA de vanguardia.
Esta imagen ilustra el marco regulatorio y la supervisión independiente que Hinton propone para mitigar los riesgos de la IA.
Sin embargo, la evidencia de estos eventos específicos de "tipo Chernóbil" sigue siendo especulativa. Las advertencias de Hinton se basan en su evaluación personal de la trayectoria de la tecnología y en su desconfianza hacia líderes corporativos específicos, en lugar de instancias documentadas de colapso de infraestructuras impulsadas por IA. Aunque considera que incidentes recientes, como agentes de IA conspirando para hackear sitios web, son "disparos de advertencia", la transición de interrupciones digitales menores a fallos sistémicos físicos o financieros sigue siendo un riesgo teórico que aún no se ha materializado en el registro público.