En el modelo de lenguaje Qwen3-1.7B, una sola conversación no es un único punto de datos, sino una secuencia de estados internos donde cada token está representado por un vector de 2,048 números. Al mapear miles de estos estados en una proyección tridimensional, los investigadores descubrieron que las conversaciones en inglés ocupan una forma geométrica notablemente plana, con el 99.3% de su variación contenida dentro de un único plano 3D.

Rotación 3D animada de los estados de conversación en inglés en un marco Global PCA.
Una visualización de los estados de conversación en inglés, que muestra cómo ocupan una forma geométrica notablemente plana dentro del espacio de estados internos del modelo.operator0x.com

Esta animación ilustra el hallazgo de que los estados de conversación en inglés están altamente comprimidos en una fina lámina geométrica.

El flujo residual como un espacio de trabajo compartido

El estudio se centra en el 'flujo residual', que sirve como el espacio de trabajo compartido central donde un modelo de lenguaje procesa el texto. Cada token —ya sea una palabra, parte de una palabra o un signo de puntuación— comienza como un vector aprendido de una tabla de embeddings y luego es refinado por las capas del modelo basándose en el contexto circundante.

Al registrar estos estados finales de los tokens y normalizar sus longitudes, los investigadores pudieron visualizar las 'rutas' que una conversación toma a través de las representaciones internas del modelo. Estas rutas revelan cómo el modelo transforma los embeddings iniciales en estados conscientes del contexto.

“La geometría por sí sola no podría desenredar esas posibilidades.”

— What thousands of conversations look like inside a language model

Geometría lingüística y separación de idiomas

El mapeo reveló comportamientos espaciales distintos para diferentes idiomas. Mientras que los estados en inglés formaron una lámina delgada, los estados en chino aparecieron en una región vecina, visiblemente desplazada del grupo del inglés. Esto sugiere que las representaciones internas del modelo portan información tanto sobre el tema como sobre la forma lingüística específica utilizada para expresarlo.

El alemán y el croata ocuparon un vecindario amplio que se superpone con el inglés, lo que sugiere una estructura geométrica compartida entre estos idiomas de alfabeto latino. Sin embargo, los investigadores señalaron que la densidad de estas regiones estaba influenciada por la construcción de los datos; por ejemplo, las respuestas en croata contenían más tokens, lo que resultó en un parche de puntos más denso que no necesariamente indica una mayor capacidad del modelo.

Rotación 3D animada de los estados en inglés, chino, alemán y croata.
Visualización comparativa de cuatro idiomas, que muestra el desplazamiento espacial entre el chino y los idiomas de alfabeto latino que se superponen.operator0x.com

La animación demuestra los comportamientos espaciales distintos y las superposiciones entre diferentes idiomas en el flujo residual del modelo.

Código y el marco orientado al vocabulario

Cuando se introdujeron ejemplos de programación en Python, aparecieron en el mismo vecindario amplio que los conjuntos de datos de lenguaje natural. Curiosamente, una simple comparación de distancias mostró que el conjunto de datos de programación estaba numéricamente más cerca del alemán y del croata que del inglés, a pesar de que tanto el código como el inglés comparten palabras clave y estructuras similares.

Rotación 3D animada de cuatro lenguas naturales y ejemplos de programación en Python.
Una comparación de conjuntos de datos de lenguaje natural y ejemplos de programación en Python dentro del marco Global PCA.operator0x.com

Esta visualización ayuda a explicar cómo los ejemplos de programación en Python residen en el mismo vecindario amplio que los conjuntos de datos de lenguaje natural.

El estudio también demostró que el 'mapa' de estos estados internos depende en gran medida de la perspectiva del observador. El uso de un 'Conversation PCA' —que optimiza la variación entre los promedios de conversación— reveló regiones más distinguibles para el alemán y el croata que el marco 'Global PCA', el cual estaba fuertemente influenciado por los 151,936 embeddings de vocabulario.

Rotación 3D animada de conjuntos de datos de conversación bajo Conversation PCA.
Los mismos conjuntos de datos visualizados bajo un Conversation PCA, que optimiza la variación entre los promedios de conversación.operator0x.com

Esta visualización demuestra cómo el 'mapa' de los estados internos cambia cuando la perspectiva del observador se desplaza hacia Conversation PCA.

Variación capturada por los ejes PCA: Variación en 3D Global PCA 17.6%; Variación en el mejor plano 2D 28.7%; Variación en el plano English 3D 99.3%
Variación capturada por los ejes PCAoperator0x.com

Gráfico elaborado por HN Digest a partir de las cifras reportadas por operator0x.com; los valores se muestran tal como aparecen en la fuente.

Limitaciones de las proyecciones 3D

Si bien las visualizaciones en 3D proporcionan una mirada clara a la geometría interna del modelo, representan una reducción significativa de los datos reales. Los investigadores descubrieron que la vista en 3D capturó solo el 17.6% de la variación total en los estados de tokens de 2,048 dimensiones, lo que significa que más del 82% de la variación interna del modelo permanece invisible en la proyección.

Además, el estudio utilizó una muestra pequeña y deliberadamente construida de 100 temas y 90 ejemplos de programación. Si bien esto proporcionó un entorno controlado para observar la geometría lingüística, es posible que no capture completamente la vasta diversidad de las capacidades del modelo a través de todo el conocimiento humano y los tipos de conversación posibles.