Amazon、意思決定モデルへの移行によりチケットのラベル付けコストを98%削減

Amazonのエンジニアは最近、内部チケットのラベル付けのためにClaude Sonnet 4.6を「Strands Decider」と呼ばれる特化した「意思決定モデル」に置き換え、トークンコストを98%削減しました。この移行により、同社は以前の費用のわずか数分の一で、同等のパフォーマンスを維持しながら、膨大な量の顧客エスカレーション、セキュリティ上の発見、および自動アラームを処理できるようになりました。

生成テキストから確率スコアへ

元のシステムは、Claude Sonnet 4.6を使用してチケットを20の異なるタイプに分類していました。Sonnetは生成モデルであるため、推論と最終的なラベルを含む構造化されたJSONレスポンスを生成するために、すべてのチケットに対して長いシステムプロンプトを処理する必要がありました。

新しいアプローチでは、自由形式のテキストを生成できない意思決定モデルを利用します。代わりに、モデルにはチケットの状態と一連の選択肢が提供され、各可能なラベルに対して確率スコアと信頼レベルを返します。このアーキテクチャの転換により、システムは複雑なJSON構造を生成するオーバーヘッドを回避できるようになります。

「この変更により、年間で数百万ドルのトークンコストを節約できるでしょう。」

— Amazon saves millions by replacing Sonnet 4.6 with Strands Decider

パフォーマンスとインフラの最適化

チームは、ml.g5.xlargeインスタンスを使用したAWS SageMaker上にStrands Decider E4Bビルドをデプロイしました。このセットアップは、以前の平均4,215ミリ秒から大幅に高速化された約640ミリ秒でリクエストを処理します。モデルは約19GiBのメモリを占有し、A10Gインスタンスの24GBの容量内に余裕を持って収まります。

この表は、意思決定モデルへの切り替えによって達成された大幅な高速化と効率性の向上を例証しています。

入力を最適化するために、エンジニアは20のラベルの説明を1〜2文の基準に書き換えました。これにより、必要なコンテキストがモデルの4,096トークンのウィンドウ内に収まることを保証しました。長いチケットについては、システムはコンテキスト制限を維持するために、古いコメントを自動的に破棄します。

コスト分析と運用のトレードオフ

コスト削減は、主にチケットあたりの総トークン数の70%減少によってもたらされました。Sonnet 4.6はチケットあたり6,724トークンを必要としたのに対し、Strands Deciderはわずか2,010トークンしか必要としません。この効率化により、年間で数百万ドルのトークンコストを大幅に節約できます。

この視覚資料は、100万ユニットあたりの具体的な節約額を示すことで、コスト分析セクションをサポートしています。

HN Digestによる図表（strandsagents.comの報告数値に基づく）。数値はソースの表記通り。

しかし、この効率性には特定の制約が伴います。意思決定モデルは、カタログが比較的安定している「閉じた選択」タスクに最も適しています。詳細な説明テキスト、高頻度のカタログ変更、または必要なコンテキストがモデルのトークン制限を超えるシナリオでは、効果が低くなる可能性があります。