Apple 研究人员开发了一种方法,通过用小型学习型神经网络取代传统的几何搜索,显著降低检索增强生成 (RAG) 的计算成本。通过训练模型来预测数据库的“支持函数”,该系统可以将查询路由到正确的数据集群,其准确性高于标准的基于质心的方法,在获得高召回率的结果时,检索速度最高可提升 8 倍。
几何搜索的局限性
最大内积搜索 (MIPS) 是推荐系统和 RAG 背后的引擎,系统必须为给定查询找到最佳匹配的“键”向量。随着数据库增长到数百万个键,且维度达到数千,穷举比较在计算上变得难以承受。
目前的近似方法通常使用聚类将键围绕质心分组。然而,这些方法假设查询将与键相似。在 RAG 中,这往往并非如此:用户查询通常很短,而键是长篇且经过策划的文本,这会导致路由错误,即最佳匹配因为远离其集群中心而被跳过。

这张图片解释了几何搜索的基本局限性,即查询可能会被路由到错误的集群,因为它们远离质心。
“SupportNet 模型可以回答比简单与质心比较更有用的问题:‘这个集群内的最佳键对于此查询有多好?’
— Faster Retrieval for Better, More Efficient RAG
SupportNet 和 KeyNet 架构
研究人员发现 MIPS 值函数是凸分析中的“支持函数”。他们开发了两个专门模型来利用这一点:SupportNet 和 KeyNet。SupportNet 是一个输入凸神经网络,旨在近似每个集群的支持函数,回答问题:“这个集群内的最佳键对于此查询有多好?”

此视觉效果支持从基于质心的路由到考虑集群内最佳键的 SupportNet 方法的转变。

这张图片展示了架构部分中描述的 SupportNet 机制。
KeyNet 模型学习直接输出最佳匹配的键向量。通过使用源自欧拉定理的一致性损失,这些模型即使在没有显式凸性约束的情况下也能保持几何基础。这两个模型都在实际重要的查询特定分布上进行训练,例如在 Natural Questions 基准测试中发现的查询。
性能增益与权衡
在测试中,SupportNet 模型达到了 95% 的路由召回率,速度比传统质心路由快约 1.9 倍。当使用最大模型时,系统在 1.74 毫秒内实现了 97% 的召回率,证明了小型神经网络即使考虑到自身的推理开销,也能优于几何基准。

此图表为文章最后一部分讨论的性能增益和权衡提供了实证证据。
由 HN Digest 根据 machinelearning.apple.com 报告的数据绘制;数值按原文显示。
KeyNet 通过充当查询重写器提供不同的优势。通过将原始查询转换为与目标键更接近的向量,它可以将索引为达到 99% 召回率所需的键扫描数量减少高达 11 倍。虽然这些模型需要在固定数据库上进行训练以产生预先成本,但它们为具有稳定查询分布的生产系统提供了更高效的路径。

这个例子展示了性能部分提到的 KeyNet 模型的“查询重写器”能力。