STROT（Agentic Schema Intent + Compiler & State + Code + Execution + NLU）旨在解决大语言模型的高推理能力与生产系统实际需求（如低延迟、成本效益和确定性）之间的权衡。STROT 不是为每个单独的请求调用 LLM API，而是在一次性的“编译”阶段使用大型模型（如 Claude Opus）。在此阶段，系统根据提供的意图和样本数据合成本地决策模型、输入投影和特定处理器。最终结果是一个可以部署在本地硬件上的冻结 Python 产物。
这张图片代表了 Project STROT 仓库，其中包含了将 LLM 意图编译为本地决策流水线的框架。
该机制通过将高层任务（如分拣支持工单或评估客户情感）转换为自路由的 NLU（自然语言理解）运行时来发挥作用。编译器评估意图，生成“黄金门”教师标签，并校准投影。在运行时，一个更小的本地模型（如 1.44 亿参数的 Julia-1）处理实际记录。这个小型模型生成带类型的 JSON 输出，包括概率和置信度分数。如果某条记录低于特定的置信度阈值，系统被设计为放弃预测而非盲目猜测，从而确保输出保持在可控范围内且可审计。
项目提供的基准测试表明，这种“编译”方法显著优于使用相同小型模型的简单实现。例如，在 398 条记录的落地路由准确性测试中，STROT 编译模型达到了 92.5% 的准确率，而简单方法的准确率为 74.8%，提升了 18 个百分点。该系统还展示了运营开销的显著降低，在生产执行期间实现了每条记录约 60ms 的延迟，且零边际成本和零 LLM 调用。然而，该系统的有效性取决于初始“编译”阶段的质量以及用于校准投影的样本数据的准确性。