El uso de Modelos de Lenguaje de Gran Escala (LLMs) para generar puntuaciones de confianza —indicadores numéricos de qué tan seguro está un modelo sobre su propio resultado— presenta obstáculos técnicos significativos. Aunque pueda parecer una forma sencilla de construir sistemas de IA más seguros, la fuente principal sostiene que estas puntuaciones suelen ser poco fiables. Un problema central es la 'sicofancia', donde un modelo puede proporcionar una puntuación de confianza alta simplemente porque está diseñado para alinearse con las expectativas del usuario o proporcionar una respuesta que suene plausible, en lugar de reflejar una medida interna de certeza estadística. Debido a que los LLMs son fundamentalmente predictores del siguiente token, están optimizados para generar la secuencia de texto más probable, lo cual no siempre se correlaciona con la precisión fáctica de esa secuencia.

Las limitaciones técnicas complican aún más el uso de la confianza informada por el propio modelo. Los críticos y comentaristas señalan que la verdadera puntuación de confianza requiere un 'conjunto de calibración', un conjunto de datos etiquetados utilizado para establecer cómo las probabilidades predichas por un modelo se mapean con los resultados reales en diferentes categorías de datos. Sin esta verificación basada en la población, la puntuación de confianza de una sola predicción carece de una línea base. Algunos observadores sugieren que, si bien es difícil que un modelo informe su confianza con precisión (una tarea con la que los humanos también tienen dificultades), podría ser posible entrenar a los modelos para hacerlo de manera más efectiva utilizando Aprendizaje por Refuerzo (RL) si el objetivo está específicamente vinculado a resultados medibles, como el pronóstico del tiempo o los resultados de juegos.

También se están discutiendo enfoques alternativos para la puntuación de confianza. Un método implica el uso directo de la 'probabilidad del siguiente token', lo que requiere reestructurar el modelo para tratar las clases de entrada como los únicos tokens de salida posibles, eliminando efectivamente el 'discurso' conversacional para centrarse en la probabilidad bruta de una etiqueta. Otros sugieren que, si bien el ajuste fino puede ayudar a un modelo a aprender qué tipos de entradas suele acertar o fallar, depender de un LLM proporcionado por un SaaS para estas puntuaciones sigue siendo arriesgado. Debido a que los pesos y comportamientos del modelo pueden cambiar durante las actualizaciones del proveedor, un sistema de puntuación de confianza construido sobre una versión de un modelo puede romperse por completo cuando el modelo subyacente sea sustituido o actualizado, creando una carga de mantenimiento significativa para los desarrolladores.

En última instancia, la fiabilidad de las puntuaciones de confianza de los LLMs depende de la aplicación específica y del método de calibración. Si bien algunos desarrolladores han tenido éxito en lograr que estas puntuaciones funcionen razonablemente bien para dominios específicos, el consenso entre los observadores técnicos es de cautela. La brecha entre la capacidad de un modelo para predecir una oración plausible y su capacidad para cuantificar con precisión su propia incertidumbre sigue siendo una frontera crítica para hacer que los resultados de los LLMs sean confiables en la toma de decisiones de alto riesgo.

Evidencia: 1. La fuente principal sostiene que las puntuaciones de confianza de los LLM son poco fiables debido a la sicofancia y la falta de un conjunto de calibración (principal). 2. Los comentaristas en Hacker News discutieron la posibilidad de utilizar la probabilidad del siguiente token como una medida más directa de confianza (hn-50176082). 3. Los comentaristas en Hacker News señalaron que el ajuste fino puede ayudar a los modelos a aprender entradas correctas/incorrectas específicas del dominio para mejorar la confianza (hn-50176082).