Actualmente, los usuarios y los reguladores tienen pocas formas de verificar que una respuesta de IA provenga de un modelo específico. Un proveedor podría sustituir secretamente un modelo más barato por uno más caro para ahorrar costes, o un ciberatacante podría interceptar y manipular un flujo de tokens. Aunque una salida de alta calidad podría sugerir que se está utilizando un modelo de vanguardia, la salida por sí sola es un indicador poco fiable de los pesos subyacentes. Para abordar esto, Anthropic está desarrollando la 'inferencia demostrable' (PI), un método que permite a un proveedor comprometerse con un modelo específico y luego proporcionar una prueba criptográfica de que cada respuesta fue producida por ese modelo exacto.
Esta imagen ilustra el concepto central de la inferencia demostrable, que permite a los proveedores comprometerse con pesos de modelos específicos y proporcionar pruebas criptográficas para cada respuesta.
El mecanismo central de FlashProve se basa en zkSNARKs (argumentos de conocimiento sucintos de conocimiento cero). Estos son certificados criptográficos que permiten a un 'demostrador' convencer a un 'verificador' de que un cálculo se ejecutó correctamente. Son especialmente adecuados para la inferencia de IA porque son de 'conocimiento cero', lo que significa que no revelan nada sobre los pesos propietarios del modelo, y 'sucintos', lo que significa que la prueba es exponencialmente más rápida de verificar que ejecutar el modelo en sí. El prototipo de Anthropic demuestra que para un modelo de mezcla de expertos de 400 mil millones de parámetros (Llama 4 Maverick), una sola GPU H100 puede generar pruebas a aproximadamente 110 tokens por segundo. Aunque esto representa una sobrecarga de tiempo de GPU de 70 a 95 veces en comparación con la inferencia estándar, la prueba resultante es lo suficientemente pequeña (~19 MB por solicitud de 1,024 tokens) como para ser verificada rápidamente por un usuario con recursos computacionales limitados.
Esta tecnología tiene varias implicaciones prácticas para la seguridad y la regulación de la IA. Podría facilitar el 'ritmo' al permitir que los reguladores verifiquen que el hardware de un proveedor se está utilizando para la inferencia en lugar de para entrenar un nuevo modelo. También proporciona 'procedencia de texto', permitiendo a un desarrollador demostrar que se utilizó un modelo de vanguardia específico para escanear código en busca de vulnerabilidades o analizar un plan de negocios. Sin embargo, el sistema tiene limitaciones claras: demuestra que un conjunto específico de pesos produjo una respuesta, pero no verifica la 'corrección' de la respuesta ni garantiza que los datos no fueran exfiltrados durante el proceso. Además, aunque la verificación es más rápida que ejecutar el modelo, todavía requiere una cantidad no trivial de tiempo —aproximadamente entre 17 y 21 segundos en un solo hilo de CPU— lo que puede afectar a las aplicaciones en tiempo real.