Jane Street ha lanzado una habilidad llamada 'Socratic Tutor' dentro de su repositorio agent_skills, diseñada para mover a los usuarios desde el conocimiento inicial hasta la verdadera maestría de un tema a través de un ciclo estructurado basado en preguntas. A diferencia de las interacciones estándar con IA, donde un modelo proporciona una respuesta directa a un prompt, esta habilidad obliga al usuario a razonar, predecir y explicar conceptos, asegurando que puedan manejar casos límite y enseñar el material por sí mismos.
Esta captura de pantalla muestra la documentación de origen para la habilidad Socratic Tutor, ilustrando las instrucciones estructuradas y la lógica utilizada para guiar el comportamiento pedagógico de la IA.
Colocación diagnóstica y mapeo de habilidades
La sesión de tutoría comienza con una fase de diagnóstico en lugar de una instrucción inmediata. La IA hace de 3 a 5 preguntas de sondeo que van de fáciles a difíciles para determinar el nivel inicial del usuario en un conjunto de 4 a 10 subhabilidades concretas.
Una vez completado el diagnóstico, el sistema genera un mapa de habilidades en ASCII. Este mapa rastrea el progreso desde 'no consciente' (0) hasta 'puede enseñarlo' (5), proporcionando una representación visual del enfoque actual del usuario y su progreso general.
“Actúa como un tutor personal que lleve al usuario desde su nivel actual hasta la verdadera maestría de un tema utilizando el método maieútico (socrático): enseña principalmente haciendo preguntas que obliguen al usuario a razonar, predecir y explicar, no dando lecciones.”
— agent_skills/socratic-tutor/SKILL.md at master · janestreet/agent_skills
El ciclo de enseñanza maieútico
Durante el ciclo de enseñanza, se instruye a la IA para que haga solo una pregunta a la vez, terminando el mensaje inmediatamente para esperar la respuesta del usuario. Evita proporcionar pistas o respuestas de ejemplo, centrándose en cambio en preguntas que requieran que el usuario encuentre fallos en las afirmaciones o aplique ideas a nuevos casos.
Si un usuario proporciona una respuesta incorrecta, la IA no da la solución. En su lugar, hace una pregunta más estrecha para exponer la contradicción específica en el razonamiento del usuario. Las explicaciones directas solo se proporcionan después de 2 o 3 intentos fallidos, seguidos de una reevaluación inmediata del concepto desde un ángulo diferente.
Para asegurar una verdadera maestría, la IA ocasionalmente actúa como 'abogado del diablo', desafiando las respuestas correctas del usuario para ver si pueden defender su lógica bajo presión.
Evaluación estricta y revisión espaciada
La habilidad emplea una política rigurosa de 'ganado, no regalado' para subir de nivel. Un usuario solo avanza de nivel después de demostrar un desempeño en al menos dos comprobaciones independientes, una de las cuales debe ser un recuerdo no solicitado de la información.
El sistema también entrelaza 'revisiones espaciadas', donde vuelve a probar periódicamente subhabilidades anteriores sin previo aviso. Si un usuario falla en una revisión, el sistema baja automáticamente su nivel para esa subhabilidad y vuelve a visitar el material.
El curso concluye solo cuando cada subhabilidad alcanza el nivel objetivo. En ese punto, la IA realiza una evaluación mixta final que cubre todo, incluyendo al menos una pregunta por subhabilidad y un problema integrador.
Qué dicen los lectores de Hacker News
- Escéptico: Un comentarista expresó escepticismo sobre la novedad del enfoque, sugiriendo que se asemeja a las tendencias comunes de consultoría de IA y señalando que algunas organizaciones han rechazado implementaciones similares en sus bases de código. comentario ↗
- Alternativa: Otro comentarista señaló que las habilidades específicas utilizadas por Jane Street son más complejas que las preguntas socráticas estándar, las cuales mencionó que han sido implementadas independientemente en muchos repositorios públicos. comentario ↗
Resumen de opiniones del hilo de Hacker News; no son hechos verificados. Leer el debate completo ↗