Investigadores de Apple han desarrollado un método para reducir significativamente el coste computacional de la Generación Aumentada por Recuperación (RAG) sustituyendo la búsqueda geométrica tradicional por redes neuronales pequeñas y aprendidas. Al entrenar modelos para predecir la 'función de soporte' de una base de datos, el sistema puede dirigir las consultas a los clústeres de datos correctos con mayor precisión que los métodos estándar basados en centroides, logrando una recuperación hasta 8 veces más rápida para resultados de alta recuperación.

La limitación de la búsqueda geométrica

La Búsqueda de Producto Interno Máximo (MIPS) es el motor detrás de los sistemas de recomendación y RAG, donde un sistema debe encontrar el vector de 'clave' que mejor coincida con una consulta dada. A medida que las bases de datos crecen hasta millones de claves y las dimensiones alcanzan los miles, la comparación exhaustiva se vuelve computacionalmente prohibitiva.

Los métodos aproximados actuales suelen utilizar la agrupación para agrupar las claves alrededor de los centroides. Sin embargo, estos métodos asumen que las consultas se parecerán a las claves. En RAG, esto a menudo es falso: las consultas de los usuarios suelen ser cortas, mientras que las claves son piezas de texto largas y curadas, lo que provoca errores de enrutamiento donde la mejor coincidencia se omite porque se encuentra lejos del centro de su clúster.

Diagrama que muestra cómo la búsqueda geométrica puede fallar al encontrar al vecino más cercano debido a la partición basada en centroides.
La Figura 1 ilustra cómo los enfoques geométricos tradicionales pueden omitir al vecino más cercano porque dependen de la partición del espacio basada en las distancias a los centroides.machinelearning.apple.com

Esta imagen explica la limitación fundamental de la búsqueda geométrica donde las consultas podrían ser dirigidas al clúster incorrecto porque están lejos del centroide.

“El modelo SupportNet puede responder a una pregunta más útil que una simple comparación con el centroide: ‘¿Qué tan buena es la mejor clave dentro de este clúster para esta consulta?’

— Faster Retrieval for Better, More Efficient RAG

Arquitecturas de SupportNet y KeyNet

Los investigadores identificaron que la función de valor MIPS es una 'función de soporte' en el análisis convexo. Desarrollaron dos modelos especializados para explotar esto: SupportNet y KeyNet. SupportNet es una red neuronal de entrada convexa entrenada para aproximar la función de soporte de cada clúster, respondiendo a la pregunta: '¿Qué tan buena es la mejor clave dentro de este clúster para esta consulta?'

Comparación de la asignación basada en centroides frente a la asignación basada en la función de soporte para el enrutamiento de clústeres.
La Figura 2 demuestra cómo depender de las distancias a los centroides puede ser engañoso, mientras que el uso de la función de soporte de un clúster permite una asignación más precisa.machinelearning.apple.com

Esta visualización apoya la transición del enrutamiento basado en centroides al enfoque SupportNet, que considera la mejor clave dentro de un clúster.

Visualización de SupportNets aproximando funciones de soporte para asignar consultas a clústeres basadas en las mejores coincidencias.
La Figura 3 muestra cómo los SupportNets aproximan las funciones de soporte para asignar consultas basadas en la mejor coincidencia con cualquier clave en un clúster, en lugar de solo el centroide.machinelearning.apple.com

Esta imagen ilustra el mecanismo de SupportNet tal como se describe en la sección de arquitectura.

Los modelos KeyNet aprenden a generar directamente el vector de clave que mejor coincide. Al utilizar una pérdida de consistencia derivada del teorema de Euler, estos modelos permanecen geométricamente fundamentados incluso sin restricciones de convexidad explícitas. Ambos modelos se entrenan en la distribución específica de consultas que realmente importan, como aquellas que se encuentran en el benchmark Natural Questions.

Ganancias de rendimiento y compensaciones

En las pruebas, el modelo SupportNet alcanzó una recuperación de enrutamiento del 95% aproximadamente 1.9 veces más rápido que el enrutamiento de centroides tradicional. Al utilizar el modelo más grande, el sistema logró una recuperación del 97% en 1.74 ms, demostrando que las pequeñas redes neuronales pueden superar a las líneas base geométricas incluso teniendo en cuenta su propia sobrecarga de inferencia.

Gráfico que muestra la recuperación del rendimiento de enrutamiento frente a la latencia para SupportNets de varios tamaños.
La Figura 4 muestra las compensaciones de rendimiento de enrutamiento y latencia para SupportNets de diferentes tamaños y fracciones de escaneo.machinelearning.apple.com

Este gráfico proporciona la evidencia empírica de las ganancias de rendimiento y las compensaciones discutidas en la sección final del artículo.

Rendimiento de SupportNet vs. Centroid Routing: Centroid Routing 3.36 ms; Small SupportNet 1.74 ms
Rendimiento de SupportNet vs. Centroid Routingmachinelearning.apple.com

Gráfico elaborado por HN Digest a partir de cifras de machinelearning.apple.com; los valores se muestran como en la fuente.

KeyNet proporciona una ventaja diferente al actuar como un reescritor de consultas. Al transformar una consulta bruta en un vector que está mucho más cerca de la clave objetivo, puede reducir el número de claves que un índice necesita escanear para alcanzar una recuperación del 99% hasta en 11 veces. Si bien estos modelos requieren un coste inicial para entrenarse en una base de datos fija, proporcionan una vía más eficiente para sistemas de producción con distribuciones de consultas estables.

Comparación de los 3 mejores aciertos para una consulta bruta frente a una consulta mapeada por KeyNet para la pregunta '¿Qué es Matchbox Twenty?'.
La Figura 7 muestra cómo KeyNet mejora la recuperación al mapear una consulta bruta a un vector que se alinea más estrechamente con las claves curadas de la base de datos.machinelearning.apple.com

Este ejemplo demuestra la capacidad de 'reescritor de consultas' del modelo KeyNet mencionada en la sección de rendimiento.