Apple 研究人员开发了一种方法,通过用小型学习型神经网络取代传统的几何搜索,显著降低检索增强生成 (RAG) 的计算成本。通过训练模型来预测数据库的“支持函数”,该系统可以将查询路由到正确的数据集群,其准确性高于标准的基于质心的方法,在获得高召回率的结果时,检索速度最高可提升 8 倍。

几何搜索的局限性

最大内积搜索 (MIPS) 是推荐系统和 RAG 背后的引擎,系统必须为给定查询找到最佳匹配的“键”向量。随着数据库增长到数百万个键,且维度达到数千,穷举比较在计算上变得难以承受。

目前的近似方法通常使用聚类将键围绕质心分组。然而,这些方法假设查询将与键相似。在 RAG 中,这往往并非如此:用户查询通常很短,而键是长篇且经过策划的文本,这会导致路由错误,即最佳匹配因为远离其集群中心而被跳过。

显示几何搜索如何由于基于质心的划分而无法找到最近邻的图表。
图 1 展示了传统的几何方法如何可能错过最近邻,因为它们依赖于基于到质心距离的空间划分。machinelearning.apple.com

这张图片解释了几何搜索的基本局限性,即查询可能会被路由到错误的集群,因为它们远离质心。

“SupportNet 模型可以回答比简单与质心比较更有用的问题:‘这个集群内的最佳键对于此查询有多好?’

— Faster Retrieval for Better, More Efficient RAG

SupportNet 和 KeyNet 架构

研究人员发现 MIPS 值函数是凸分析中的“支持函数”。他们开发了两个专门模型来利用这一点:SupportNet 和 KeyNet。SupportNet 是一个输入凸神经网络,旨在近似每个集群的支持函数,回答问题:“这个集群内的最佳键对于此查询有多好?”

集群路由中基于质心的分配与基于支持函数的分配的对比。
图 2 展示了依赖于到质心距离可能具有误导性,而使用集群的支持函数可以实现更准确的分配。machinelearning.apple.com

此视觉效果支持从基于质心的路由到考虑集群内最佳键的 SupportNet 方法的转变。

SupportNets 近似支持函数以基于最佳匹配将查询分配到集群的可视化。
图 3 显示了 SupportNets 如何近似支持函数,以基于与集群中任何键的最佳匹配来分配查询,而不仅仅是质心。machinelearning.apple.com

这张图片展示了架构部分中描述的 SupportNet 机制。

KeyNet 模型学习直接输出最佳匹配的键向量。通过使用源自欧拉定理的一致性损失,这些模型即使在没有显式凸性约束的情况下也能保持几何基础。这两个模型都在实际重要的查询特定分布上进行训练,例如在 Natural Questions 基准测试中发现的查询。

性能增益与权衡

在测试中,SupportNet 模型达到了 95% 的路由召回率,速度比传统质心路由快约 1.9 倍。当使用最大模型时,系统在 1.74 毫秒内实现了 97% 的召回率,证明了小型神经网络即使考虑到自身的推理开销,也能优于几何基准。

显示不同尺寸 SupportNets 的路由性能召回率与延迟的图表。
图 4 显示了不同尺寸和扫描比例的 SupportNets 的路由性能和延迟权衡。machinelearning.apple.com

此图表为文章最后一部分讨论的性能增益和权衡提供了实证证据。

SupportNet 性能 vs. Centroid Routing: Centroid Routing 3.36 ms; Small SupportNet 1.74 ms
SupportNet 性能 vs. Centroid Routingmachinelearning.apple.com

由 HN Digest 根据 machinelearning.apple.com 报告的数据绘制;数值按原文显示。

KeyNet 通过充当查询重写器提供不同的优势。通过将原始查询转换为与目标键更接近的向量,它可以将索引为达到 99% 召回率所需的键扫描数量减少高达 11 倍。虽然这些模型需要在固定数据库上进行训练以产生预先成本,但它们为具有稳定查询分布的生产系统提供了更高效的路径。

针对问题“Matchbox Twenty 是什么?”的原始查询与 KeyNet 映射查询的前 3 个命中结果对比。
图 7 展示了 KeyNet 如何通过将原始查询映射到与数据库策划键更紧密对齐的向量来改进检索。machinelearning.apple.com

这个例子展示了性能部分提到的 KeyNet 模型的“查询重写器”能力。