“母巢之战基准测试”是一个实验性平台，旨在评估现代人工智能模型在执行《星际争霸：母巢之战》这款复杂即时战略（RTS）游戏任务时的表现。该基准测试通过运行循环赛来评估各种人工智能体，包括来自Codex、Claude和Grok家族的模型，让它们相互竞争。结果表明，尽管这些模型能够执行基本指令，但尚无模型达到人类初学者的游戏水平。在所有模型中观察到的一个反复出现的问题是，它们无法维持持续的生产和复杂的军队管理。例如，一些模型难以协调负责不同任务（如经济和战斗）的子智能体，这往往导致单位部署效率低下。其他模型，特别是Grok系列，经常出现长时间的停滞，在推理标记上花费了过多时间，却未能发出有意义的游戏指令。在所有受测系统中，Codex Astra表现最为出色，而Claude Fable则展现出一种值得注意但最终未获成功的尝试，即试图参与游戏更深层的机制，例如攀升科技树。该基准测试凸显了人工智能开发中一个持续存在的挑战：在动态、高风险的环境中，平衡实时决策与长期战略规划的难度。
该基准测试通过在不同智能体之间进行竞争性锦标赛，评估各种人工智能模型在《星际争霸：母巢之战》复杂环境中的表现。
文章特别指出，Claude Fable曾尝试参与科技树等深层游戏机制，尽管最终未能成功。