Los investigadores están probando la utilidad de los agentes de Modelos de Lenguaje de Gran Escala (LLM) en Pokémon Showdown, un simulador de batallas que presenta un desafío único para la inteligencia artificial. A diferencia de los juegos con información perfecta, como el Ajedrez, las batallas de Pokémon involucran variables ocultas, incluyendo los conjuntos de movimientos específicos y los objetos del oponente. El experimento explora cómo estos modelos de lenguaje de propósito general pueden navegar por las mecánicas del juego, las cuales requieren tanto planificación táctica como la capacidad de interpretar información oculta.
La implementación actual utiliza un conjunto de equipos con semillas aleatorias fijas para garantizar la consistencia durante las pruebas. Si bien el agente rinde mejor que un jugador amateur, sigue siendo superable por oponentes humanos. El proyecto destaca la creciente capacidad de los LLM de propósito general para actuar como 'agentes', sistemas que pueden razonar a través de procesos de múltiples pasos y tomar decisiones en entornos dinámicos. Esto contrasta con los enfoques tradicionales de aprendizaje por refuerzo, que a menudo requieren motores especializados y masivas iteraciones de juego contra sí mismos para lograr un rendimiento de alto nivel.
La discusión en torno al proyecto revela varios matices técnicos y limitaciones. Un punto de interés es el papel del 'razonamiento' dentro del modelo; no está claro si el mensajaje interno del agente sirve como un sustituto de un razonamiento más profundo o si simplemente procesa el estado inmediato del juego. Además, las mecánicas del juego incluyen elementos semialeatorios, como los cálculos de daño, que pueden complicar la capacidad de un agente para predecir los resultados perfectamente. Aunque el agente opera actualmente en un entorno controlado, el objetivo final es ver cómo estos modelos se comparan con bots especializados que ya han alcanzado la cima de la clasificación utilizando técnicas dedicadas de aprendizaje por refuerzo.