El concepto de una 'jerarquía de decisiones' propone un enfoque estructurado para utilizar la inteligencia artificial tratando los diferentes modelos como capas en una jerarquía similar a la memoria. En este marco, el nivel más bajo (L-cache) consiste en reglas escritas a mano y coincidencias semánticas exactas de respuestas pasadas. La capa intermedia (RAM) está ocupada por modelos de decisión especializados, como Jev, que proporcionan resultados bien definidos como puntuaciones o probabilidades. El nivel más alto (disco) es el Modelo de Lenguaje de Gran Escala (LLM), mientras que el último recurso es la intervención humana. Cada nivel está diseñado para manejar aquello en lo que tiene más confianza y pasar los 'fallos' a la capa inferior, que es más costosa o compleja computacionalmente.
Esta figura visualiza el enfoque multicapa donde diferentes modelos manejan niveles de confianza específicos.
Para determinar cuándo pasar de un modelo de decisión más barato a un LLM más costoso, el autor introduce un marco matemático basado en la 'regla de Chow'. Esta regla calcula un punto de equilibrio sopesando el costo de un error frente al costo de la tarifa de procesamiento del siguiente nivel. Por ejemplo, si un modelo de decisión solo tiene un 60% de confianza, el sistema debe decidir si el riesgo de una respuesta incorrecta (ponderado por el costo de ese error) es mayor que la tarifa y la tasa de error esperada del LLM. Cuando los errores son muy costosos, el sistema prioriza la precisión, haciendo que la tarifa del LLM sea menos relevante. Por el contrario, cuando los errores son baratos, la tarifa de procesamiento se convierte en el factor principal para decidir si se debe escalar la consulta.
El marco perfecciona esto al contabilizar los costos de error variables en diferentes categorías. Debido a que un error en una ruta legal podría ser significativamente más costoso que un error en una ruta técnica, la regla se ajusta para incorporar costos generales específicos de la categoría. El modelo resultante sugiere que la ruta óptima para cualquier consulta dada es un compromiso en forma de hipérbola entre la probabilidad de una respuesta correcta y el costo económico de la inteligencia requerida para producirla. Este enfoque va más allá de los simples umbrales de confianza, tratando en su lugar el despliegue de la IA como una serie de decisiones económicas donde el objetivo es minimizar el costo total tanto del procesamiento como de los errores.