Los ingenieros de Amazon sustituyeron recientemente Claude Sonnet 4.6 por un 'modelo de decisión' especializado llamado Strands Decider para etiquetar tickets internos, lo que resultó en una reducción del 98% en los costes de tokens. Este cambio permite a la empresa procesar volúmenes masivos de escaladas de clientes, hallazgos de seguridad y alarmas automatizadas a una fracción del gasto anterior, manteniendo un rendimiento comparable.
De texto generativo a puntuaciones de probabilidad
El sistema original utilizaba Claude Sonnet 4.6 para categorizar tickets en 20 tipos diferentes. Debido a que Sonnet es un modelo generativo, se requería procesar un largo prompt del sistema para cada ticket para producir una respuesta JSON estructurada que contuviera el razonamiento y la etiqueta final.
El nuevo enfoque utiliza un modelo de decisión, que no puede generar texto de libre formato. En su lugar, se proporciona al modelo el estado del ticket y un conjunto de opciones, devolviendo una puntuación de probabilidad y un nivel de confianza para cada etiqueta posible. Este cambio arquitectónico permite al sistema omitir la sobrecarga de generar estructuras JSON complejas.
“Este cambio ahorrará millones de dólares en costes de tokens en un año.”
— Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
Optimización de rendimiento e infraestructura
El equipo desplegó la versión Strands Decider E4B en AWS SageMaker utilizando instancias ml.g5.xlarge. Esta configuración gestiona las solicitudes en unos 640 ms, una aceleración significativa respecto a la media anterior de 4.215 ms. El modelo ocupa aproximadamente 19 GiB de memoria, ajustándose cómodamente dentro de la capacidad de 24 GB de las instancias A10G.
La tabla ilustra la aceleración significativa y las ganancias de eficiencia logradas al cambiar al modelo de decisión.
Para optimizar la entrada, los ingenieros reescribieron las 20 descripciones de etiquetas en criterios de una o dos frases. Esto aseguró que el contexto necesario cupiera dentro de la ventana de 4.096 tokens del modelo. En tickets largos, el sistema también descarta automáticamente los comentarios más antiguos para mantener este límite de contexto.
Análisis de costes y compensaciones operativas
La reducción de costes se debe principalmente a una caída del 70% en el total de tokens por ticket. Mientras que Sonnet 4.6 requería 6.724 tokens por ticket, Strands Decider requiere solo 2.010. Esta eficiencia se traduce en un ahorro masivo de millones de dólares en costes anuales de tokens.
Esta imagen apoya la sección de análisis de costes al mostrar las cantidades específicas de dólares ahorrados por millón de unidades.
Gráfico elaborado por HN Digest a partir de cifras reportadas por strandsagents.com; los valores se muestran tal como aparecen en la fuente.
Sin embargo, esta eficiencia conlleva restricciones específicas. El modelo de decisión es más adecuado para tareas de 'elección cerrada' donde el catálogo es relativamente estable. Puede ser menos eficaz para tareas que requieran texto de explicación detallado, cambios de catálogo de alta frecuencia o escenarios donde el contexto requerido supere los límites de tokens del modelo.
Qué dicen los lectores de Hacker News
- Experiencia: Un comentarista que anteriormente construyó un flujo de clasificación de tickets señaló que la industria parece estar dando un giro completo, volviendo a clasificadores más rápidos y baratos tras un periodo de priorizar los modelos de lenguaje de gran tamaño. comentario ↗
- Alternativa: Otro usuario sugirió que el uso de un crate de Rust específico podría proporcionar resultados aún más eficientes al permitir un mayor control sobre la lógica y el uso de modelos increíblemente baratos. comentario ↗
- Escéptico: Un comentarista cuestionó la escala de los ahorros, señalando que si el nuevo modelo cuesta un 98% menos que el original, la cantidad real ahorrada podría ser una pequeña fracción de los millones mencionados. comentario ↗
- Experiencia: Un comentarista observó que, si bien construir SVMs requiere un etiquetado de datos cuidadoso y experiencia, los LLMs ofrecen un compromiso diferente al proporcionar una experiencia de desarrollo más fácil a costa de un mayor consumo de recursos. comentario ↗
Resumen de opiniones del hilo de Hacker News; no son hechos verificados. Leer el debate completo ↗