Perplexity lanza Decider v1.3: un modelo de decisión especializado para una clasificación eficiente

Perplexity Decider v1.3 logra una precisión media del 91.6% en 63 tareas de clasificación, superando a los propios clasificadores de producción de la empresa por 6.54 puntos porcentuales. A diferencia de los modelos generativos estándar que producen texto de libre formato, Decider es un 'modelo de decisión': un clasificador de propósito general que devuelve distribuciones de probabilidad sobre un conjunto de posibles respuestas para preguntas binarias, multiclase o puntuadas.

El gráfico ilustra las ganancias de rendimiento logradas por el nuevo modelo de decisión en comparación con los estándares de producción anteriores.

Arquitectura de un modelo de decisión

Los modelos de decisión se sitúan entre los clasificadores específicos de tareas estándar y los LLM generativos a gran escala. Están diseñados para manejar tareas como juzgar la calidad de la salida, enrutar solicitudes a diferentes modelos y detectar inyecciones de prompts proporcionando probabilidades para múltiples preguntas en un solo paso hacia adelante.

Al evitar la generación token por token, estos modelos comparten la computación en todas las preguntas de una solicitud. Por ejemplo, una sola solicitud puede preguntar simultáneamente si un resumen es fiel a un documento y si ese resumen está destinado a una audiencia experta, utilizando un contexto compartido (el estado) para informar ambas respuestas.

“Los modelos de decisión se sitúan entre los LLM y los clasificadores específicos de tareas. Devuelven probabilidades para múltiples preguntas sobre la misma entrada en un solo paso hacia adelante, evitando la generación de respuestas token por token y compartiendo la computación entre las preguntas.”

— Perplexity Decider v1.3: Training, eval, and use cases

Atención bidireccional y preguntas aisladas

Para mejorar la robustez, Perplexity adoptó la atención bidireccional, permitiendo que cada token incorpore contexto de toda la entrada en lugar de solo de los tokens precedentes. Esta elección de diseño se combinó con un patrón de 'preguntas aisladas' donde el estado atiende a todas las preguntas, pero cada pregunta atiende solo al estado y a sus propios tokens.

Esta visualización explica la elección arquitectónica específica utilizada para mejorar la robustez del modelo de decisión.

Esta configuración específica se eligió sobre los patrones de 'todo ve todo' o 'totalmente cacheable' porque proporciona el mejor equilibrio entre rendimiento y estabilidad de la respuesta. Si bien las preguntas 'aisladas' pueden desplazarse ligeramente (una diferencia del 1.5-2.2%) cuando cambia el conjunto de preguntas, ofrecen resultados más fiables que los modelos donde las preguntas influyen fuertemente entre sí.

Entrenamiento y la función 'Locate'

Los modelos se entrenan utilizando una receta de tres etapas: primero, un ajuste fino generalista en corpus a gran escala; segundo, una especialización basada en LoRA para dominios específicos como la salud o el derecho; y tercero, un paso específico de visión. Para el modelo más pequeño Decider Flash v1.3, el modelo más grande actúa como profesor, utilizando la destilación basada en KL para transferir la distribución de salida y los niveles de confianza del profesor.

Se añadió una nueva función de 'localización' a través de una etapa de entrenamiento dedicada. Utiliza un cabezal de fragmento y un token especial <|locate|> para extraer texto literal del estado. A diferencia de la clasificación estándar, que selecciona entre opciones predefinidas, 'locate' identifica posiciones de caracteres exactas para tareas como el reconocimiento de entidades nombradas o la respuesta a preguntas extractivas.

Esta imagen demuestra cómo el modelo extrae texto literal, como entidades nombradas, del estado interno.

Compensaciones económicas y de rendimiento

Perplexity informa que Decider v1.3 es significativamente más económico que los modelos competidores. Para un millón de solicitudes de producción, Decider v1.3 cuesta $26.47, mientras que Jev 1.14 cuesta $68.10 y GLM-5.3-Flash cuesta $312.21.

El gráfico destaca la eficiencia económica del nuevo modelo en relación con otras opciones listas para producción.

Si bien el modelo destaca en evaluaciones de cero disparos en siete dominios, incluyendo ciberseguridad y finanzas, existen compensaciones técnicas. Por ejemplo, fusionar los adaptadores de 'locate' en la estructura principal actualmente causa regresiones en las solicitudes de decisión, lo que significa que los adaptadores deben permanecer sin fusionar y activarse solo para tareas de extracción específicas.