亚马逊通过切换至决策模型将工单标注成本降低 98%

亚马逊工程师最近将用于标注内部工单的 Claude Sonnet 4.6 替换为名为 Strands Decider 的专门“决策模型”，从而使 Token 成本降低了 98%。这一转变使公司能够在保持相当性能的同时，以极低的成本处理海量的客户升级、安全发现和自动化警报。

从生成式文本到概率评分

原始系统使用 Claude Sonnet 4.6 将工单分类为 20 种不同类型。由于 Sonnet 是生成式模型，它被要求为每个工单处理一段长的系统提示词，以生成包含推理过程和最终标签的结构化 JSON 响应。

新方法利用决策模型，该模型无法生成自由文本。相反，模型被提供工单状态和一组选项，并为每个可能的标签返回概率评分和置信水平。这种架构转变允许系统绕过生成复杂 JSON 结构的开销。

“这一变化将在一年内节省数百万美元的 Token 成本。”

— Amazon saves millions by replacing Sonnet 4.6 with Strands Decider

性能与基础设施优化

团队在 AWS SageMaker 上使用 ml.g5.xlarge 实例部署了 Strands Decider E4B 构建版本。此设置在约 640 毫秒内处理请求，比之前的 4,215 毫秒平均值有了显著提速。该模型占用约 19 GiB 内存，可轻松适配 A10G 实例的 24 GB 容量。

该表格展示了切换到决策模型后实现的显著提速和效率提升。

为了优化输入，工程师将 20 个标签描述重写为一到两句的标准。这确保了必要的上下文能够放入模型的 4,096 Token 窗口内。对于较长的工单，系统还会自动丢弃最旧的评论以维持此上下文限制。

成本分析与运营权衡

成本降低主要源于每工单总 Token 数下降了 70%。虽然 Sonnet 4.6 每个工单需要 6,724 个 Token，但 Strands Decider 仅需要 2,010 个。这种效率转化为了每年数百万美元的 Token 成本的大幅节省。

此视觉内容通过展示每百万单位节省的具体金额来支持成本分析部分。

HN Digest 根据 strandsagents.com 报告的数据绘制；数值按来源显示。

然而，这种效率伴随着特定的限制。决策模型最适合目录相对稳定的“封闭选择”任务。对于需要详细解释文本、高频目录变更或所需上下文超过模型 Token 限制的场景，其效果可能较差。