Los flujos de trabajo de IA modernos suelen depender de grandes modelos de lenguaje (LLM) generativos para tareas sencillas y estructuradas, como la clasificación de correos electrónicos, la detección de phishing o el enrutamiento de tickets. Este enfoque introduce una latencia significativa, ya que los modelos deben transmitir tokens, y crea desafíos relacionados con las alucinaciones y la falta de calibración matemática. Laya, un motor de decisiones de código abierto recién lanzado, aborda estas ineficiencias adoptando una arquitectura de "Sistema 1": un enfoque no autorregresivo que proporciona decisiones instantáneas y reflejas sin generar texto de forma libre. Laya opera utilizando tres primitivas fundamentales: "choice" para seleccionar a partir de un diccionario de criterios, "score" para situar las entradas en una rúbrica ordinal y "noul" para predicciones directas de probabilidad booleana. Debido a que el modelo solo genera números y probabilidades, elimina la necesidad de expresiones regulares o análisis de JSON y evita las alucinaciones comunes en los modelos generativos. El sistema logra velocidades de inferencia de aproximadamente 33 milisegundos por pregunta en hardware estándar, superando significativamente a los flujos de trabajo tradicionales con LLM generativos. Para manejar entradas diversas, Laya incluye un enrutador integrado que inspecciona los scripts Unicode del texto entrante en 22 alfabetos, dirigiendo automáticamente las solicitudes al punto de control especializado apropiado (como el modelo multilingüe mmBERT-base) con una sobrecarga insignificante. Esta capacidad de enrutamiento garantiza que el sistema mantenga una alta precisión en más de 100 idiomas. Laya se publica bajo la licencia Apache 2.0, lo que proporciona una alternativa transparente y autohospedable a las API de toma de decisiones propietarias. Al centrarse en puntuaciones de confianza calibradas en lugar de texto generativo, Laya permite a los desarrolladores crear barreras de seguridad listas para producción y flujos de trabajo automatizados que son más rápidos y fiables que aquellos que dependen de modelos autorregresivos.
El gráfico ilustra las ventajas de rendimiento de la arquitectura no autorregresiva de Laya en comparación con los marcos de toma de decisiones existentes como TypeSafe Jev.