El estudio de la interpretabilidad mecanicista tiene como objetivo realizar ingeniería inversa en las redes neuronales artificiales para comprender cómo procesan la información y alcanzan resultados específicos. Un desafío central en este campo ha sido la 'polisemia', la observación de que las neuronas individuales a menudo parecen activarse para múltiples conceptos aparentemente no relacionados (por ejemplo, un 'perro' y un 'coche'). Este fenómeno llevó a muchos investigadores a creer que las redes neuronales son inherentemente 'nudos enredados' de funciones superpuestas, lo que las hace difíciles de decodificar en una lógica comprensible para los humanos.
Análisis recientes sugieren que esta complejidad podría estar exagerada. El argumento central es que muchas neuronas son en realidad 'limpias' —desempeñando un papel único y específico— pero fueron identificadas erróneamente como polisémicas debido a las limitaciones de las primeras herramientas de interpretabilidad. Al utilizar herramientas agénticas modernas y un enfoque más granular, los investigadores han descubierto que la gran mayoría de las neuronas en modelos con hasta billones de parámetros son legibles y están organizadas en circuitos hermosos y coherentes. Las neuronas 'desordenadas' a menudo resultan representar características geométricas compartidas (como una 'forma en V') en lugar de un conjunto de conceptos semánticos no relacionados. Este cambio sugiere que el principal obstáculo para la interpretabilidad puede ser un problema de 'descripción del modelo': nuestras nociones preconcebidas de lo que es un 'concepto' podrían ser demasiado estrechas para capturar las características latentes que la red realmente aprende.
Sin embargo, la transición de interpretaciones 'desordenadas' a 'limpias' enfrenta varios obstáculos técnicos y filosóficos. Los críticos señalan que incluso si el 96% de los pesos de un modelo son legibles, el 2-4% restante de neuronas 'no explicadas' podría representar los centros principales de la cognición emergente, que podrían ser las partes más críticas de entender para la seguridad y la alineación. Además, existe un riesgo de circularidad: si las herramientas utilizadas para interpretar el modelo son generadas por modelos de lenguaje grandes, los investigadores deben asegurarse de que no están siendo 'engañados' por una IA que proporciona una explicación simplificada y amigable para los humanos mientras oculta su verdadera lógica interna. En última instancia, aunque la hipótesis 'limpia' ofrece un camino más optimista hacia la secuenciación del 'genoma de la IA', la capacidad práctica de reconstruir algoritmos complejos a partir de estos circuitos sigue siendo una pregunta abierta.