一项跨越田纳西州 18 所中学、在两年内进行的集群随机试验提供了关于生成式 AI 辅导在 K-12 环境中大规模效应的首批实验证据。 布朗大学安嫩堡研究所的研究人员菲利普·奥雷奥普斯和尼娜·洛深入文，研究了当学生在日常补习数学课上被赋予对 Khan Academy 加上 Khanmigo（配置为鼓励而非直接给出答案的 AI 导师）的访问权限时，会发生什么情况。该研究发现，AI 辅助条件下的成绩提升为每学期提高 1.3 个全国百分位，相当于大约 0.06 到 0.08 个标准差的提升（一年级）。对于积极参与一整年的学生，暗示的提升幅度约为 0.14 个标准差。

然而，这些收益在统计上与学生使用 Khan Academy 的传统练习题而没有使用 AI 的提升是无法区分的。 作者认为，原因不是导师本身无效，而是学生几乎没有与之互动。96%的学生至少尝试过一次 Khanmigo，但学生中位数表示他们只在练习的一半天数里给导师发过消息。在练习时出现错误的学生中，只有17%的案例中咨询了 Khanmigo。当学生确实互动时，他们的消息大多是直接回答或点击建议提示，而不是实质性的数学对话。研究人员得出结论，AI 辅导的潜在关键约束并非在于获取，而在于参与：实现这一技术的潜力需要让学生真正、有意义地使用它，而不仅仅是让它可用。

该研究的试验设计（在常规的学校课程中嵌入集群随机试验）增强了其生态真实性，但几个限制因素也制约了结论。所测得的效果反映的是意图-治疗分析（分配到某个条件，但不是实际使用），因此，针对参与者的 0.14 个标准差的改进是一个暗示的估计，而非直接观察到的因果效应。该样本涵盖的是一个州的中学生补习数学；是否在其他年级、科目或学生群体中也存在类似的模式，目前尚不清楚。此外，Khanmigo 在该研究中的配置是明确地不直接给出答案以鼓励进行辅导；不同的提示策略或与课堂教学的更紧密整合可能会产生不同的参与模式。证据确实表明，在实证条件下，当学生控制是否以及如何使用 AI 导师时，利用率是低且表面的，结果是适度的成绩提升，与非 AI 练习工具相当。