RAG 嵌入模型哪家强？是否可以闭着眼睛选？(文末有开源计划!)

摘要：最近在做 RAG (Retrieval-Augmented Generation) 相关项目时，发现一个挺头疼的问题：嵌入模型太多了，到底选哪个好呢？尤其是在处理中文和英文时，选择就更困难了。

最近在做 RAG (Retrieval-Augmented Generation) 相关项目时，发现一个挺头疼的问题：嵌入模型太多了，到底选哪个好呢？尤其是在处理中文和英文时，选择就更困难了。

之前有粉丝在评论区留言，问我有没有什么好的中文/英文嵌入模型推荐。这一下子点醒了我！既然大家都有这个困惑，不如我来做个小工具，帮大家解决这个问题吧！

什么是文本嵌入？

在介绍我的小工具之前，咱们先来聊聊什么是文本嵌入。简单来说，文本嵌入就是把文本（比如一个词、一句话、一段话，甚至一篇文章）转换成一个向量（一串数字）。

为什么要这样做呢？因为计算机不认识文字，它只认识数字。把文本变成向量，计算机就能对它们进行各种数学运算，比如计算相似度、进行分类、聚类等等。

想象一下，你有一个图书馆，里面有很多书。你想找一本关于“人工智能”的书。如果没有文本嵌入，你就得一本一本地翻，看看书名、目录、内容是否包含“人工智能”这个关键词。这得多慢啊！

但是，如果我们把每本书都变成一个向量，并且让向量能够代表书的内容，那么我们就可以计算“人工智能”这个词的向量和每本书的向量之间的距离。距离越近，说明这本书和“人工智能”越相关。这样，我们就能快速找到我们想要的书了！

常见的嵌入模型有哪些？

文本嵌入模型有很多种，我这里介绍几个比较常见的，也是我的小工具目前支持的：

OpenAI Embeddings (text-embedding-ada-002 等)：

特点： 由 OpenAI 公司开发，效果好，支持多种语言（包括中文）。

使用方式： 需要调用 OpenAI API，按 token 数量收费。

提示： 我的小工具也支持通过兼容 OpenAI API 的方式使用本地部署的模型哦！

all-MiniLM-L6-v2：

特点： 来自 Sentence Transformers 库，轻量级，速度快，效果也不错，支持多种语言。

使用方式： 开源免费，可以直接在本地运行。

bge-large-zh：

特点： 来自 BAAI (北京智源人工智能研究院)，专门针对中文进行了优化，效果拔群！

使用方式： 开源免费，可以直接在本地运行。

text2vec-large-chinese：

特点： 来自 CoSENT 项目，也是专门为中文设计的，在语义相似度任务上表现出色。

使用方式： 开源免费，可以直接在本地运行。

E5-large-v2

特点多语言，性能强大

使用方式 开源免费

当然，还有很多其他的嵌入模型，比如：

Word2Vec (老牌劲旅): 基于词的嵌入，无法很好地处理一词多义和上下文。GloVe (也是老牌): 也是基于词的嵌入。FastText (支持子词): 可以处理未登录词（OOV）。BERT (以及各种变体): 基于 Transformer 架构，效果好，但模型较大，计算资源消耗较高。

我的小工具目前主要支持上面提到的几种，后续会根据大家的需求，加入更多模型！

RAG 嵌入模型评估工具（完成80%），可以让你：

上传自己的文档 (txt, md, pdf...)选择多个嵌入模型进行对比 (目前支持 OpenAI 和 Hugging Face 上的模型)一键进行文本嵌入和向量存储输入问题，查看不同模型的检索和生成效果让 LLM 帮你分析各个模型的优缺点，并给出选择建议

项目展示：

简洁的登录框，输入授权码即可进入。
文档上传、模型选择、LLM选择，嵌入按钮等。