STROT（Agentic Schema Intent + Compiler & State + Code + Execution + NLU）は、大規模言語モデルの高い推論能力と、低レイテンシ、コスト効率、決定論といったプロダクションシステムの実用的な要件との間のトレードオフを解決するために設計されました。個々のリクエストごとにLLM APIを呼び出す代わりに、STROTは一度限りの「コンパイル」フェーズにおいて大規模モデル（Claude Opusなど）を使用します。このフェーズにおいて、システムは提供された意図とサンプルデータに基づいて、ローカルの意思決定モデル、入力プロジェクション、および特定のハンドラーを合成します。その結果として得られるのは、ローカルハードウェアにデプロイ可能な固定されたPythonアーティファクトです。
この画像は、LLMの意図をローカルの意思決定パイプラインにコンパイルするためのフレームワークを収容するProject STROTリポジトリを表しています。
このメカニズムは、サポートチケットの分類や顧客の感情スコアリングといった高レベルのタスクを、自己ルーティング可能なNLU（自然言語理解）ランタイムへと変換することで機能します。コンパイラは意図を評価し、教師ラベルの「ゴールデンゲート」を生成し、プロジェクションをキャリブレーションします。実行時には、はるかに小さなローカルモデル（144MパラメータのJulia-1など）が実際のレコードを処理します。この小型モデルは、確率や信頼スコアを含む型付きJSON出力を生成します。レコードが特定の信頼度しきい値を下回った場合、システムは推測するのではなく回答を控えるように設計されており、出力が制限され、監査可能であることを保証します。
プロジェクトによって提供されたベンチマークは、この「コンパイル済み」アプローチが、同じ小型モデルを使用した単純な実装を大幅に上回ることを示唆しています。例えば、398件のレコードを用いたグラウンデッド・ルーティング精度のテストでは、単純なアプローチの74.8%に対し、STROTでコンパイルされたモデルは92.5%の精度を達成し、18パーセントポイントの向上を示しました。また、このシステムは運用オーバーヘッドの大幅な削減を実証しており、プロダクション実行中のLLM呼び出しゼロ、追加コストゼロで、1レコードあたり約60msのレイテンシを実現しています。ただし、システムの有効性は、初期の「コンパイル」フェーズの品質と、プロジェクションをキャリブレーションするために使用されるサンプルデータの正確さに依存します。