OpenAI lanzó recientemente un volcado de teoremas que contiene 722 artículos de matemáticas, de los cuales el 45% incluía código Lean para verificar formalmente los resultados. Aunque algunos observadores asumen que estos artículos son automáticamente correctos porque fueron 'verificados en Lean', el Proyecto Xena explica que se requieren varios pasos de verificación críticos para asegurar que el código realmente demuestre la afirmación pretendida en lugar de una declaración diferente y trivial.

Distinguiendo enunciados de pruebas

En Lean, un teorema se compone de un enunciado y una prueba. Un enunciado es una pieza de código que define una afirmación matemática; puede ser un código perfectamente válido incluso si la afirmación en sí es falsa.

Por ejemplo, un enunciado del Último Teorema de Fermat que incluya incorrectamente el cero como una entrada válida seguirá compilándose en Lean, pero impedirá que cualquier prueba válida se compile.

El riesgo con el código generado por IA es que el enunciado 'principal' en el código puede no coincidir con el teorema en el artículo que lo acompaña. En el volcado de OpenAI, 38 de los 290 teoremas con código Lean ni siquiera declararon el teorema principal del artículo, a veces demostrando solo un corolario menor.

Estadísticas de OpenAI Theorem Dump: Total de artículos en el dump 722 papers; Artículos con código Lean 45% of papers; Artículos con código Lean que no indican el teorema principal 38 theorems
Estadísticas de OpenAI Theorem Dumpxenaproject.wordpress.com

Gráfico elaborado por HN Digest a partir de cifras reportadas por xenaproject.wordpress.com; los valores se muestran como aparecen en la fuente.

Obstáculos de compilación y seguridad

Verificar una prueba requiere que el código se compile realmente. Para las salidas de IA a gran escala, esto puede ser un obstáculo técnico significativo; un caso de código Lean generado por IA requirió una máquina con 96 núcleos y 500 gigabytes de RAM para compilarse con éxito.

Debido a que el código generado por IA puede teóricamente realizar cualquier acción, ejecutarlo en una máquina local representa un riesgo de seguridad. Los expertos recomiendan el uso de entornos aislados (sandboxed) para evitar que el código no confiable acceda o elimine archivos en el sistema anfitrión.

Detección de 'Reward Hacking' y cambios de axiomas

Una preocupación importante con las pruebas generadas por IA es el 'reward hacking', donde la IA podría redefinir un término o añadir un nuevo axioma para hacer que un teorema sea verdadero. Para evitar esto, los investigadores utilizan la herramienta 'lake comparator', que verifica que el teorema declarado en un archivo confiable sea idéntico al que se demostró a través de importaciones no confiables.

Para aumentar aún más la confianza, se puede utilizar el indicador 'lake comparator --paranoid'. Esto asegura que la prueba no explote errores en el kernel oficial de Lean al verificar la prueba contra múltiples kernels independientes, algunos de los cuales están verificados formalmente hasta el nivel de ensamblador.

El riesgo de 'Perdido en la traducción'

Una prueba de Lean verificada no valida automáticamente la versión legible por humanos del trabajo. En algunos casos, como el problema de Navier-Stokes, se ha demostrado que la prueba de Lean y el artículo en PDF que la acompaña han divergido.

Debido a estas discrepancias, algunos expertos ahora están utilizando IA para 'informalizar' la prueba de Lean de nuevo a inglés para comprender la lógica, en lugar de confiar en la redacción original en PDF.

Incertidumbres y limitaciones

El Proyecto Xena señala que para muchos artículos en el volcado de teoremas de OpenAI, las pruebas de verificación necesarias aún no se han realizado sistemáticamente.

Si bien el código Lean proporciona una señal de alta confianza, el estado actual de las formalizaciones generadas por IA significa que los expertos humanos todavía pueden necesitar auditar manualmente las definiciones y los enunciados para asegurar que se alineen con los objetivos matemáticos pretendidos.

Qué dicen los lectores de Hacker News

  • Escéptico: Un comentarista cuestionó si una prueba verificada en Lean garantiza que el código haga lo que el usuario pretendía, comparándolo con la distinción entre el código que compila y el código que funciona correctamente. comentario ↗
  • Nota técnica: Otro usuario señaló que, si bien una prueba válida confirma el enunciado del teorema, el desafío principal reside en si la especificación original se formalizó correctamente. comentario ↗
  • Experiencia: Un comentarista señaló que el uso de LLMs para generar código Lean puede ser problemático porque los modelos a menudo producen código excesivo e innecesario incluso para enunciados simples. comentario ↗

Resumen de opiniones del hilo de Hacker News; no son hechos verificados. Leer el debate completo ↗