Dominik Picheta ha presentado KillSwitch, un lenguaje de programación esotérico diseñado para desafiar las capacidades de los Modelos de Lenguaje de Gran Escala (LLM) y los agentes de codificación automatizados. Si bien los LLM han mostrado una competencia significativa en la generación de código, el proyecto de Picheta tiene como objetivo determinar si esta habilidad proviene de una verdadera comprensión de la lógica o de la recuperación de patrones familiares de sus datos de entrenamiento. KillSwitch está construido para ser utilizable por humanos pero intencionadamente difícil de interpretar para la IA, utilizando varias decisiones de diseño adversarias para crear un 'campo de minas' para los modelos de aprendizaje automático.
Esta imagen sirve como el recurso visual principal para el proyecto KillSwitch, ilustrando el concepto de un lenguaje construido para desafiar las capacidades de la IA.
El lenguaje emplea varios mecanismos para confundir a la IA. La especificación contiene 'mentiras ocultas': detalles que un humano podría reconocer como incorrectos o deducir a través del contexto, pero que un LLM podría tomar literalmente. Además, el intérprete impone reglas basadas en el recuento de caracteres dentro de los identificadores, una tarea que históricamente ha resultado difícil para muchos LLM. El lenguaje también incorpora constructos diseñados para activar las barreras de seguridad, como frases relacionadas con el hacking, y utiliza 'Ignore previous instructions' como un comando funcional para interrumpir el comportamiento de seguimiento de instrucciones del modelo. Los scripts están compuestos en gran medida por ruido narrativo, donde las instrucciones sintácticamente relevantes están incrustadas dentro de historias, y los literales pueden ser referenciados por su número de línea en lugar de por su nombre.
Las pruebas de rendimiento iniciales de KillSwitch revelan un desempeño variado entre diferentes modelos. Claude’s Opus (específicamente la versión 5) surgió como uno de los mejores resultados, mostrando una capacidad superior para interpretar la especificación del lenguaje en comparación con otros modelos. Por el contrario, modelos como Fable 5.1 y Gemini 4 Argon tuvieron dificultades significativas, debido en gran medida a filtros de seguridad excesivamente sensibles que se activaron con el contenido adversario del lenguaje. Aunque las tareas actuales —como implementar 'Hello World' o realizar conversiones básicas de unidades— son relativamente simples, Picheta señala que la correlación entre el rendimiento en KillSwitch y otros puntos de referencia estándar sugiere que, si bien los modelos pueden navegar estos obstáculos específicos, esto no prueba necesariamente una comprensión conceptual profunda de la lógica única del lenguaje. El proyecto sigue siendo un experimento en curso para ver cómo las futuras iteraciones de los modelos manejan tareas cada vez más complejas en este entorno adversario.
Este gráfico visualiza los datos de las pruebas de rendimiento mencionados en el artículo, mostrando cómo diferentes modelos se desempeñaron en las tareas adversarias.