摘要：AI 助手 Claude 背后的公司 Anthropic 的首席工程师 Boris Cherny 最近阐明了他们使用信息检索系统执行代码生成任务的旅程。在一次坦诚的讨论中，Cherny 详细介绍了 Anthropic 从流行的检索增强生成 （RAG） 方法过渡

RAG 在 AI 广泛使用的早期风靡一时，但越来越多的人似乎表示，可能有更好的选择。

AI 助手 Claude 背后的公司 Anthropic 的首席工程师 Boris Cherny 最近阐明了他们使用信息检索系统执行代码生成任务的旅程。在一次坦诚的讨论中，Cherny 详细介绍了 Anthropic 从流行的检索增强生成 （RAG） 方法过渡到更动态的“代理搜索”方法的原因，并列举了惊人的性能提升和显着的运营优势。

正如 Cherny 所说，挑战通常归结为有效地将相关信息导入 AI 的上下文。“与内存相关的问题是如何将信息导入上下文或知识库，”他解释说。“最初，Claude 的非常早期版本实际上使用了 RAG。我们对代码库进行了索引，我认为使用的是 Voyage，只是现成的 RAG，效果很好。我们尝试了几个不同的版本：有 RAG，然后我们尝试了几种不同类型的搜索工具。最终，我们选择了代理搜索作为做事的方式。

放弃 RAG（一种涉及从知识库检索相关文档并将其作为上下文提供给大型语言模型的技术）的决定并非轻率。Cherny 强调了这种转变的令人信服的原因：“这有两个，也许是三个重要原因。一个是它的性能比其他所有产品都高很多。高出很多。这太令人惊讶了。

有趣的是，最初的成功指标并不是一个正式的基准。当被问及证明这种显著优异表现的具体基准时，Cherny 坦率地表示：“这只是'共鸣'——内部共鸣。也有一些内部基准，但主要是共鸣。感觉好多了，”他说。

那么，Anthropic 发现的这种“代理搜索”究竟是什么如此有效呢？Cherny 澄清说：“在这种情况下，代理搜索是什么意思？这意味着让代理在它需要的搜索周期中查找信息，只需使用 glob 和 grep 等常规代码搜索工具——常规代码搜索。这种方法使 AI 模型能够使用标准开发人员工具主动查找信息，迭代地完善其理解和输出。

除了纯粹的性能提升之外，围绕 RAG 索引过程的实际考虑在 Anthropic 的决策中也起着至关重要的作用。“第二个重要原因是 RAG 所需的整个索引步骤，”Cherny 解释道。“这带来了很多复杂性，因为代码不同步。然后是安全问题，因为这个索引必须位于某个地方。如果该提供商被黑客入侵怎么办？公司这样做要承担很大的责任。

他强调了他们自己数据的敏感性：“即使对于我们非常敏感的代码库，我们也不想将其上传到第三方。这可能是第一方的事情，但我们仍然遇到这个不同步的问题。代理搜索只是回避了所有这些。

然而，权衡是资源消耗。“因此，从本质上讲，以延迟和令牌为代价，您现在可以进行非常棒的搜索，而不会出现安全性方面的缺陷，”Cherny 总结道。

从 RAG 转向代理搜索的影响

Anthropic 的经验为更广泛的技术和编程社区提供了宝贵的见解。从像 RAG 这样相对静态的检索系统转变为动态的、使用工具的代理方法来生成代码，这表明潜在的范式转变。虽然 RAG 已被证明对许多应用程序有效，但它对预先索引的、可能过时的数据的依赖可能是一个缺点，尤其是在代码库等快速发展的环境中。

“vibes” 指标虽然是非正式的，但也很能说明问题。它强调，开发人员体验和 AI 辅助的感知质量可以成为架构决策的强大驱动力，有时会超过或补充正式基准。当一个系统“感觉更好”并明显改善了工作流程时，就值得认真考虑。代理搜索“大大”优于 RAG 这一事实是一个重要的说法，可能会促使其他组织探索类似的方法。

此外，Cherny 提出的安全和运营问题对于任何处理敏感信息的企业都至关重要。为 RAG 维护最新、安全索引的复杂性是一项有形的开销。对于处理专有代码或机密数据的公司来说，代理模型使用标准、可审计工具搜索实时现有系统的能力提供了一个引人注目的优势，即使它以增加延迟和令牌使用为代价。这与对数据安全和最大限度地减少与第三方数据处理者或复制知识存储相关的攻击面的日益重视相一致。

AI 驱动的搜索的更广泛趋势和未来

Anthropic 的发现与 AI 发展的更大趋势产生了共鸣：功能更强大的 AI 代理的崛起，这些代理可以与工具和环境交互以完成复杂的任务。像 OpenAI 的具有浏览功能和执行代码能力的 ChatGPT 这样的系统，或者谷歌在 AI 工具使用方面的进步，都指向一个未来，人工智能不再是被动处理提供的信息，而是主动寻找和利用它。

这种转变可能会重新定义 AI 与企业知识的交互方式。AI 代理不仅可以仅仅依赖矢量数据库和静态文档的语义搜索，还可以越来越多地被授予受监督的访问权限，以查询实时数据库、使用已建立的工具搜索内部文件系统或与 API 交互。这提供了更准确、最新的信息检索的承诺。

虽然较新的 LLM 中较长的上下文窗口可能会减少某些更简单的 RAG 使用案例中的检索需求，但访问和推理大量、动态和安全的数据集的挑战仍然存在。正如 Cherny 所描述的，代理搜索提供了一种强大的替代方案，特别是对于代码生成等专业领域，在这些领域中，精确性、及时性和安全性至关重要。探索用于复杂信息检索任务的 AI 解决方案的企业最好考虑一下，代理的、工具驱动的方法是否可能提供比单独的 RAG 更强大、更安全的前进道路。

来源：人工智能学家