2021年から2023年にかけて、テネシー州の18の中学校でクラスタ無作為化試験が実施され、K-12教育現場における生成AIチューターの効果について、最初の大規模な実験的エビデンスの一つが得られた。ブラウン大学アネンベルグ研究所のPhilip Oreopoulos氏とNina Low氏によるこの研究は、既存の毎日の補習数学授業において、答えを与えるのではなくコーチングするよう設定されたKhan AcademyのAIチューター「Khanmigo」を搭載したKhan Academyへのアクセスを生徒に提供したとき、何が起こるかを検証した。研究によると、AI支援条件への割り当てにより、数学の達成度が1学期あたり1.3国立パーセンタイルランク上昇し、これは1学年でおよそ0.06〜0.08標準偏差に相当する。1年間を通じて積極的に参加した生徒に限ると、推定効果は約0.14標準偏差に達する。

しかし、この向上は、AI支援なしでKhan Academyの従来型演習を使用した場合に見られる改善と統計的に区別できない。著者らは、チューターが非効果的なのではなく、生徒がほとんど関わらなかったことが理由だと指摘する。生徒の96%がKhanmigoを少なくとも一度は試したが、中央値の生徒がチューターにメッセージを送ったのは練習日数のわずか3分の1だった。生徒がミスをした演習セッションでは、Khanmigoが利用されたのはわずか17%だった。やり取りがあった場合も、生徒のメッセージは実質的な数学的対話ではなく、素っ気ない回答や推奨プロンプトのクリックが圧倒的に多かった。研究者たちは、AIチューターの可能性を制約しているのはアクセスではなくエンゲージメントであり、この技術の潜在力を引き出すには、単に利用可能にするだけでなく、生徒が意味ある形で活用するようにする必要があると結論付けている。

今回の研究デザイン——通常の学校ルーチンに組み込まれたクラスタ無作為化試験——は生態学的妥当性を高めているが、いくつかの限界も結論を制約している。測定された効果は意図治療分析（実際の使用ではなく条件への割り当て）を反映しているため、積極参加者の0.14標準偏差という数値は直接観測された因果効果ではなく、推定値にとどまる。サンプルは1州の中学校補習数学に限定されており、同様のパターンが他の学年、教科、生徒集団でも当てはまるかは未検証だ。また、ここで検証されたKhanmigoの設定は、コーチングを促すために直接的な回答を意図的に控えるものであり、異なるプロンプト戦略や授業とのより緊密な統合があれば、異なるエンゲージメントパターンが生まれる可能性がある。このエビデンスが示しているのは、生徒がAIチューターをいつ、どのように呼び出すかを自分でコントロールできる実世界の条件下では、利用率が低く表面的であり、その結果として得られる達成度の向上は控えめで、非AIの練習ツールと同程度にとどまるということだ。