Un ensayo aleatorizado por grupos llevado a cabo en 18 escuelas intermedias de Tennessee durante dos años académicos proporciona algunas de las primeras evidencias experimentales a gran escala sobre tutoría con IA generativa en entornos K-12. Los investigadores Philip Oreopoulos y Nina Low, escribiendo para el Annenberg Institute de la Universidad Brown, estudiaron lo que sucedió cuando estudiantes en sesiones diarias existentes de matemáticas de reforzamiento recibieron acceso a Khan Academy ampliada con Khanmigo, el tutor IA de Khan Academy configurado para entrenar en lugar de proporcionar respuestas. El estudio encontró que la asignación a la condición asistida por IA elevó el logro en matemáticas en 1,3 rangos percentiles nacionales por término, equivalente a aproximadamente 0,06 a 0,08 desviaciones estándar sobre un año escolar. Para estudiantes que participaron activamente durante un año completo, el efecto implícito alcanza aproximadamente 0,14 desviaciones estándar.

Estas ganancias, sin embargo, son estadísticamente indistinguibles de las mejoras vistas cuando los estudiantes usan los ejercicios de práctica tradicionales de Khan Academy sin asistencia de IA. La razón, argumentan los autores, no es que el tutor sea ineficaz, sino que los estudiantes apenas se comprometieron con él. El 96 por ciento de los estudiantes intentaron Khanmigo al menos una vez, pero el estudiante típico envió mensajes al tutor en solo un tercio de los días que practicó. En sesiones de ejercicio donde un estudiante cometió un error, Khanmigo fue consultado en apenas el 17 por ciento de los casos. Cuando los estudiantes sí interactuaron, sus mensajes fueron abrumadoramente respuestas simples o clics en sugerencias de prompts, en lugar de diálogo matemático sustantivo. Los investigadores concluyen que la limitación sobre la promesa de la tutoría IA no es el acceso, sino el compromiso: realizar el potencial de la tecnología requerirá que los estudiantes la usen de manera significativa, no simplemente hacerla disponible.

El diseño del estudio, un ensayo aleatorizado por grupos incrustado en rutinas escolares regulares, refuerza su validez ecológica, pero varias limitaciones atemperan las conclusiones. Los efectos medidos reflejan un análisis de intención a tratar (asignación a la condición, no uso real), por lo que la cifra de 0,14 desviaciones estándar para participantes activos es una estimación implícita, no un efecto causal observado directamente. La muestra cubre matemáticas de reforzamiento de escuela intermedia en un estado; si patrones similares se mantienen para otros grados, asignaturas o poblaciones estudiantiles permanece no probado. Además, la configuración de Khanmigo estudiada aquí restringió explícitamente respuestas directas para fomentar el entrenamiento; diferentes estrategias de prompts o una integración más estrecha con la instrucción en el aula podrían producir patrones de compromiso diferentes. Lo que la evidencia establece es que, bajo condiciones del mundo real donde los estudiantes controlan si y cómo invocar un tutor IA, la utilización es baja y superficial, y las ganancias de logro resultantes son modestas y comparables a herramientas de práctica no IA.