关于智能体优化的研究表明，虽然 AI 智能体现在能够导航复杂的代码库以提高推理性能，但它们往往花费高达 20% 的时间仅仅是为了理解引擎文件中的相关代码路径。这种转变正促使人们转向“分解”编译器，即用稳定的中间表示（IR）和成本模型取代传统的基于启发式的优化，从而帮助智能体在更平滑的搜索空间中导航。
从编译器到基础设施
机器学习编译器的传统角色——将模型转换为高性能内核——正受到能够直接优化代码的智能体的挑战。编译器并非被取代，而是被重新定义为共享抽象和可重用工具的基础。
目标是提供稳定的 IR 和验证工具（例如在 Lean 中形式化的工具），以确保智能体生成的解决方案是正确的。这允许智能体专注于探索优化策略，而无需在每次迭代中重新发明编译器基础设施。
“在这样的未来，我们可能不再需要一个真正执行编译工作的编译器，但我们仍然需要编译器基础设施来理解和验证程序。”
— Make this forward pass as fast as possible
导航优化搜索空间
内核优化越来越多地被视为一个搜索和迭代过程，其中 Token 和工具调用代表了显著的成本。为了优化这一搜索，与 Together 的 TKCC 等新框架一样，它们使用自定义成本模型，利用分析估计来对前 k 个并行配置进行排序。
通过在分层执行设置中测试之前先通过分析剔除选项，这些系统可以在投入昂贵的智能体优化之前识别出有前景的配置。这种方法有助于防止智能体在搜索过程中陷入局部最优。
通过移除启发式方法平滑景观
编译器设计的一个重大转变涉及移除导致搜索空间不可预测的隐式语义和启发式方法。例如，OpenAI 的 Triton 编译器以前使用模式匹配来自动插入融合乘加（FMA）调用，这可能会改变内核的数值结果。
为了使搜索空间更平滑且更易于智能体导航，这些自动通道正被移除，转而采用在源代码中手动插入。这确保了代码中的微小变化不会触发一系列不可预测的编译器通道，从而改变最终输出。
智能体工具的权衡
虽然为智能体提供更多信息可以改善结果，但它也会引入显著的开销。研究表明，提供用于研究和日志的人工设计工具可能会阻碍吞吐量，因为智能体可能花费高达 43% 的工具调用仅仅是为了尝试理解系统。
HN Digest绘制的图表（源自 ianbarber.blog 报告的数值；数值按原文显示）
此外，简单的提示“尽可能让这个前向传播变快”已被证明优于某些专家编写的策略。这表明，最有效的前进路径是提供正确的验证和分析工具，而不是试图用僵化的、预定义的路径来引导智能体的搜索。