摘要：近日， 联想研究院智能计算基础设施实验室的论文《基于渐进式分布变换的深度向量量化增强》(“Boosting Deep Vector Quantization with Progressive Distribution Transformation”)被第31届

近日， 联想研究院智能计算基础设施实验室的论文《基于渐进式分布变换的深度向量量化增强》(“Boosting Deep Vector Quantization with Progressive Distribution Transformation”)被第31届ACM SIGKDD 知识发现与数据挖掘会议Research Track录用，并在现场进行了论文陈述。

ACM SIGKDD 知识发现与数据挖掘会议(ACM SIGKDD Conference on Knowledge Discovery and Data Mining) 是中国计算机学会推荐的A类国际学术会议，是机器学习、人工智能与数据挖掘领域顶级国际会议之一，其对论文质量要求非常严格，本次会议总体接受率约18.4%。

生成式AI时代对大规模非结构化数据（如文档、图片、音频和视频等）的检索需求不断增加。目前，主流方法是将这些数据转换为高维向量，通过寻找空间中“距离相近”的向量来实现所需数据的检索。为了降低大规模高维向量搜索所需的计算和存储资源，向量压缩技术变得尤为重要。向量量化（Vector Quantization）是一种将高维向量数据压缩到较小的空间中的常用技术，其通过使用多个向量码本对原始向量进行拟合，将接近无限的数据规模压缩到有限的空间内，从而有效降低向量搜索的计算复杂度和存储需求。

现有深度向量量化方法极大提升了向量搜索的效率并降低了对内存资源的要求，其对向量搜索的精度造成较大的负面影响，其中一个重要原因就是这些方法忽略了向量数据分布的不均匀性，导致在数据密度低的区域产生较大的量化误差。此外，这些方法往往也面临扩展性差、难收敛等问题。

为了解决上述问题，论文团队从分析实际场景下向量数据分布入手，探索了改善向量量化性能的关键——针对如何学习有效的向量分布变换，提出了基于去噪自编码器的渐进式分布变换方法，其核心创新点包括：

1. 设计了一种基于去噪自编码器的渐进式分布变换器，可以将原始向量数据变换到更适于进行向量量化的隐空间中。同时，该变换器可以为多种现有深度量化方法提供有效的数据预处理过程，具有良好的泛化性。

2. 提出了一种多头分布变换模块，通过自适应地学习复合变换偏移量，实现对原始向量的有效分布变换，保证了算法的稳定性和可扩展性。

3. 设计了一种多监督训练方法与动态的分布变换步数选择机制，使模型可以根据不同应用场景动态选择合适的步数，从而有效平衡精度与效率。

为了验证所提出算法的有效性，团队在多个向量搜索数据集上对算法的搜索精度与效率等进行了全面测试。在与十种业内领先向量量化算法的比较中，所提出算法在搜索精度方面取得了平均20.6%的性能提升。同时，通过将渐进式分布变换模块应用到常用深度量化算法的数据预处理过程，也取得了平均58.5%的搜索精度提升。此外，在搜索效率方面，与现有深度量化方法相比，所提出算法能够在达到相同搜索精度的条件下取得更高的吞吐率。

联想研究院智能计算基础设施实验室成立于2024年4月，在负责人张伟丰博士带领下，实验室在计算、互连、存储、容错和可持续及安全五个重点技术方向持续创新，致力于打造高性能、高扩展、稳健安全的异构AI计算平台。实验室软件定义存储团队基于自研分布式软件定义存储打造面向生成式AI数据检索需求的高性能、高可用企业级向量数据库LEVERS，从系统架构、向量索引、检索功能、RAG生态支持等多个维度持续创新，论文工作也是在这个背景下开展的。

目前，论文所涉及的创新成果已集成到联想企业级向量数据库LEVERS，应用在企业知识检索、联想服务器故障诊断等业务场景中。同时，该工作也将进一步为大模型参数量化、KVCache优化等提供全新的思路。

来源：一起联想一点号