STROT (Agentic Schema Intent + Compiler & State + Code + Execution + NLU) está diseñado para resolver el compromiso entre las altas capacidades de razonamiento de los modelos de lenguaje grandes y los requisitos prácticos de los sistemas de producción, tales como la baja latencia, la eficiencia de costos y el determinismo. En lugar de llamar a una API de LLM para cada solicitud individual, STROT utiliza un modelo grande (como Claude Opus) durante una fase de 'compilación' única. Durante esta fase, el sistema sintetiza un modelo de decisión local, una proyección de entrada y manejadores específicos basados en una intención proporcionada y datos de muestra. El resultado es un artefacto de Python congelado que puede ser desplegado en hardware local.
La imagen representa el repositorio del Proyecto STROT, que alberga el marco para compilar la intención de LLM en tuberías de decisión locales.
El mecanismo funciona transformando una tarea de alto nivel —como la clasificación de tickets de soporte o la puntuación del sentimiento del cliente— en un entorno de ejecución de NLU (Comprensión de Lenguaje Natural) de autorutaje. El compilador evalúa la intención, genera una 'puerta dorada' de etiquetas de profesor y calibra la proyección. En tiempo de ejecución, un modelo local mucho más pequeño (como el Julia-1 de 144M de parámetros) maneja los registros reales. Este modelo pequeño produce salidas JSON tipificadas, incluyendo probabilidades y puntuaciones de confianza. Si un registro cae por debajo de un umbral de confianza específico, el sistema está diseñado para abstenerse en lugar de adivinar, asegurando que la salida permanezca acotada y auditable.
Las pruebas de rendimiento proporcionadas por el proyecto sugieren que este enfoque 'compilado' supera significativamente a las implementaciones ingenuas que utilizan el mismo modelo pequeño. Por ejemplo, en pruebas de precisión de enrutamiento fundamentado en 398 registros, el modelo compilado por STROT logró una precisión del 92.5% en comparación con el 74.8% de un enfoque ingenuo, lo que representa una mejora de 18 puntos porcentuales. El sistema también demuestra una reducción significativa en la sobrecarga operativa, logrando una latencia de aproximadamente 60ms por registro con costo marginal cero y cero llamadas a LLM durante la ejecución en producción. Sin embargo, la efectividad del sistema depende de la calidad de la fase inicial de 'compilación' y de la precisión de los datos de muestra utilizados para calibrar la proyección.