摘要:经过持续研发,AI 原生数据库 Infinity 于今日正式开源。该数据库专为服务大模型设计,核心场景为 RAG(检索增强生成),旨在构建未来企业大模型应用架构的基础设施。通过集成企业内部网页、OLTP/OLAP 数据库、API、日志及非结构化数据,Infin
经过持续研发,AI 原生数据库 Infinity 于今日正式开源。该数据库专为服务大模型设计,核心场景为 RAG(检索增强生成),旨在构建未来企业大模型应用架构的基础设施。通过集成企业内部网页、OLTP/OLAP 数据库、API、日志及非结构化数据,Infinity 可实现多源数据统一管理,并将查询结果输入大模型生成最终输出,覆盖 Copilot、搜索、推荐、对话机器人等场景。
作为一款以 C++ 20 标准开发的数据库,Infinity 在向量搜索性能上已超越同类开源产品,单响应延迟低至 0.1 毫秒级。其架构支持结构化查询、向量搜索与全文搜索的灵活组合,并通过 PGM 索引等技术优化次级索引性能,满足高并发场景需求。未来 Infinity 将推出云原生架构,进一步区别于传统搜索引擎如 Elasticsearch。这一创新标志着企业 AI 能力从“外挂知识库”向“原生融合架构”的演进,为 RAG 长期发展提供底层支撑。
检索增强生成(Retrieval Augmented Generation,简称RAG)是一种用于提高基础模型,特别是大型语言模型(LLMs)响应的准确性和可靠性的技术。它通过用外部知识源补充现有的LLMs来实现。
使用RAG的好处包括提高响应质量和相关性、获取最新和最可靠的事实,以及验证模型的响应。它减少了持续培训和更新LLM的需求,从而降低了成本。RAG依赖于使用向量,这是数据的数学表示,来丰富提示与相关外部信息。
RAG使得从各种来源检索外部数据成为可能,包括文档仓库、数据库和API。然后将这些数据转换成兼容格式以便进行相关性搜索。检索到的信息被添加到原始用户提示中,使LLM能够基于更相关或最新的知识提供响应。
混合搜索结合了文本和语义(向量)查询,以找到更准确和相关的结果。这种技术结合了多种搜索算法,如关键字搜索、自然语言搜索和语义搜索,以提高搜索结果的准确性。
混合搜索结合了多种搜索策略,而融合搜索则更进一步,接管了之前由上层应用管理的决策过程。它合并了获得的结果,并自行返回结果。
AI原生数据库专门设计用于解决检索增强生成(RAG)的挑战,RAG目前是提高基础模型生成响应的准确性和相关性的行业标准。
除了基本的向量搜索之外,AI向量数据库还提供了更全面的文本搜索、多向量检索、混合数据类型查询、精细数据分析和融合搜索等高级功能。
Infinity 包含存储层和计算层两大模块:
存储层:列存(columnar storage):Infinity 的默认存储是一个列存引擎,主要服务于结构化数据检索,且它可以保证数据存储的 ACID。ANN 索引(Approximate Nearest Neighbor Index):即向量索引,用于服务向量搜索。Infinity 目前提供 IVF 和 内存优化的HNSW 两类索引:前者服务内存受限场景,后者服务高性能场景。Infinity 的 HNSW 索引采用了局部量化技术,可以在内存占用相较标准HNSW算法小的多情况下,提供远高于其他向量索引的搜索性能。此外,ANN 索引仅仅是针对 Infinity 表的一个向量类型列构建的索引,因此 从设计机理上Infinity 可以包含任意多的向量列,而非普通向量数据库只能提供单一向量列的能力,因此 Infinity可以很容易支持多向量查询。倒排索引(Inverted Index):用于服务全文检索以及结构化数据检索。倒排索引包含两部分:一部分是针对文本类型的全文索引,默认提供基于 BM25 的相关度排序功能,也提供短语查询等常见的精确召回能力;另一部分是针对结构化数据的次级索引,提供高性能过滤能力。计算层:Parser:为了方便 AI 开发者,Infinity 主要对外提供的是 Pythonic API。此外,Infininty还提供兼容 PostgreSQL 协议的 SQL 方言。因此,Infinity 使用全新实现的 Parser 来提供对这两种方言的支持。执行器:Infinity 针对不同类型的数据,不同的数据分布,提供了多种多样的索引。它能够根据查询需求动态的决定分配哪些资源哪种存储提供哪些查询。例如,对于结构化查询能力来说,可以选择列存,也可以选择倒排索引。如果用户对延迟敏感,则可以使用多个计算单元,采用并行查询的执行逻辑;如果用户对并发敏感,就只采用单个计算单元,采用基于倒排索引的方式来执行,Infinity 的执行器会根据需要动态作出最优选择。具体来说,Infinity 采用了基于 Push 的流水线执行计划,但更进一步地改进使之同时能适应大吞吐查询和大并发查询的工作负载。除此之外,Infinity 还实现了一些重要的算子,例如 Fusion 融合算子,它负责多路召回——采用向量搜索返回的数据,跟采用全文搜索返回的数据,还有结构化过滤的数据,它们之间如何选择,如何排序,在 Infinity 内部处理完毕这个算子,既高效又便捷,避免了在多个数据库之间进行联邦搜索(Federated Search)造成的低效甚至结果错误。应用场景
AI原生数据库Infinity的应用场景主要包括以下几个方面:
1. 企业智能决策支持
Infinity通过构建企业数智孪生体,实现从订单到交付全流程的智能决策优化。例如,在制造业中,可打通多环节数据,通过可视化推演呈现多种决策结果,帮助企业快速锁定最优路径并自动化执行。该技术还可应用于供应链、能源等行业,提升市场适应性和定制化能力。
2. 数据集成与RAG(检索增强生成)应用
Infinity专为RAG设计,支持多类型、多模态数据的无缝接入(如网页、日志、数据库),解决企业内部数据孤岛问题。其向量搜索、全文检索和结构化查询能力,可配合大模型实现精准信息检索与生成,适用于企业知识库、智能客服等场景。
3. 多路召回搜索优化
通过融合向量、稀疏向量、张量等多维度数据,并结合ColBERT等重排序技术,Infinity显著提升搜索结果质量。例如,在长文本检索场景中,混合搜索+重排序方案可实现更精准的答案生成,适用于企业搜索、推荐系统等高并发在线业务。
4. 产学研协同创新
与北京大学等机构合作建立联合实验室,推动AI技术在工业物联、算力调度等领域的应用,加速技术迭代与行业落地。
总结来看,Infinity通过“数据+知识+决策”全链路能力,覆盖了从底层数据治理到上层智能应用的完整场景,成为企业实现AI转型的核心基础设施。
来源:正正杂说