摘要：如果你也被这些问题困扰，那今天这篇干货一定要收好，我会手把手教你在开源版 COZE（扣子）智能体平台上搭建本地 AI知识库，从环境部署到测试验证，每一步都讲得清清楚楚，哪怕是技术新手，跟着操作也能一次成功。
如何使用 COZE智能体平台搭建本地AI知识库？
在AI落地的过程中，你是不是经常遇到以下问题：
想让AI精准回答业务问题却担心数据上传到云端有泄露风险，而不敢把核心资料喂给AI。
你是否受限于网络环境，渴望一个完全离线的智能知识库？
你是否好奇那些AI大神们，是如何在本地搭建出堪比ChatGPT的问答系统？
如果你也被这些问题困扰，那今天这篇干货一定要收好，我会手把手教你在开源版 COZE（扣子）智能体平台上搭建本地 AI知识库，从环境部署到测试验证，每一步都讲得清清楚楚，哪怕是技术新手，跟着操作也能一次成功。
先跟大家透个底，用这种方式搭建的本地知识库，不仅能保证数据100% 存放在自己电脑里，安全性拉满，而且断网状态下也能正常检索信息，不管是用于企业内部业务文档查询，还是个人学习资料管理，都特别实用。
话不多说，咱们直接进入操作环节，记得先点个关注，后续有更多AI实操技巧还会持续分享。
01
前期准备好这两个关键工具
在正式搭建本地知识库之前，咱们需要先准备好两个核心工具，这是后续所有操作的基础，少了任何一个都不行，大家一定要提前安装到位。
第一个工具：Olama软件
它的核心作用是帮我们安装和运行嵌入式模型，后面会跟大家解释什么是嵌入式模型，这里先记住：没有Olama，咱们的本地知识库就没法实现信息检索的核心功能。关于Olama 的安装方法，自己去找教程脑补。
这里简单提一下关键步骤：打开 Olama官网（直接搜索Olama就能找到），根据自己的电脑系统（Windows、Mac 都支持）下载对应的安装包，双击运行后按照提示一步步完成安装即可，全程不用复杂配置，新手也能轻松搞定。
第二个工具：已部署好的开源版COZE本地环境
如果还没部署COZE本地版的朋友，赶紧去部署，先把COZE本地环境搭好。这里咱们默认大家已经完成了这一步，接下来所有操作都基于本地 COZE已部署成功的前提展开。
准备好这两个工具后，咱们就开始如何打造AI知识库了
6步打造100%安全、高效、可控的知识库
很多人第一次听到嵌入式模型会觉得陌生，其实不用把它想复杂了。
简单来说，它的作用就像翻译官：能把咱们知识库中的文档
比如：PDF、TXT 里的文字拆分成小块，再把每一小块翻译成一串数字（这一步叫向量化存储），当我们输入问题时，它又会把问题也翻译成数字，然后跟知识库中所有的数字进行比对，找到最匹配的那串数字，再把对应的文字内容返回给我们。整个过程就是纯粹的数字对比，速度快、准确率也高。
而安装这个翻译官，必须借助前面提到的Olama，具体步骤只有3步，特别简单：
1. 找到合适的嵌入式模型
打开Olama官网，点击顶部的 “Models”（模型）栏目，然后找到 “EMBEDdings”（嵌入式模型）分类，不管是直接点击 “Embeddings” 标签，还是在模型列表里筛选这个分类，都能找到对应的模型。
这里给大家推荐最常用、兼容性最好的模型：BGM3，几乎所有本地知识库场景都能用，不用纠结其他模型，选它准没错。
2. 复制模型拉取命令
找到BGM3模型后，点击进入模型详情页，会看到一行 “Pull Command”（拉取命令），比如 “olama pull bgm3:latest”（具体命令以官网显示为准），咱们把这行命令复制下来，不用修改任何内容。
3. 在终端中运行命令安装
接下来打开电脑的终端：Windows 用户可以按 “Win+R”，输入 “cmd” 打开命令提示符；Mac 用户可以用 “启动台 - 其他 - 终端” 打开。打开终端后，直接粘贴刚才复制的拉取命令，按下回车键，等待几分钟就可以了。
这里要注意两个小细节：一是如果提示 “Olama 未找到”，大概率是 Olama 没安装成功，或者环境变量没配置好，大家可以重新检查一下 Olama 安装步骤；
二是如果已经安装过 BGM3 模型，终端会提示 “already exists”，不用管它，直接关闭终端就行。
安装好嵌入式模型后，咱们还需要修改 COZE 的配置文件，让本地 COZE 知道 “要用 Olama 的嵌入式模型”，这一步很关键，不能漏掉。
第2步：修改COZE配置文件，让平台认准嵌入式模型
这一步需要修改COZE 文件夹中的env 文件，总共要改4个地方，每一个地方都要仔细核对，不能输错一个字符，否则后续知识库会无法使用。
1. 找到env文件的位置
打开咱们本地的COZE文件夹（一般叫 “coze-studio”），在里面找到 “Docker” 文件夹，双击进入后，就能看到一个名为 “.env” 的文件（如果看不到后缀，记得在电脑 “文件夹选项” 里勾选 “显示文件扩展名”）。
2. 用编辑器打开 env 文件
推荐用 VSCode 打开（免费又好用），如果没有 VSCode，用电脑自带的 “记事本” 也可以，不过要注意：打开后不要修改任何无关内容，只改咱们需要改的 4 个地方。
3. 修改4个关键配置项
在 env 文件中，用 “Ctrl+F” 搜索 “EMBED_MODEL”（嵌入式模型配置）相关的内容，会找到以下 4 个需要修改的配置项，咱们逐一修改：
第一个：EMBED_MODEL_TYPE（嵌入式模型类型）
原本的配置可能是 “openai” 或其他，咱们要把它改成 “olama”（注意全小写，双引号不能丢），因为咱们用的是 Olama 的嵌入式模型。
第二个：OLAMA_ENDPOINT（Olama 本地端口）
这一项要填 Olama 的本地端口，默认是 “http://localhost:11434”，直接照抄进去就行，不用改端口号，除非你自己手动修改过 Olama 的端口。
第三个：OLAMA_EMBED_MODEL（嵌入式模型名称）
这里要填刚才安装的 BGM3 模型名称，必须跟 Olama 中显示的名称完全一致，比如 “bgm3:latest”（具体以你拉取的模型名称为准，不能多一个字母、少一个字母）。
第四个：EMBED_DIM（模型精度）
不同的嵌入式模型，精度（维度）不一样，BGM3 模型的默认精度是 1024，所以这里直接填 “1024”，不用修改。
修改完这 4 项后，一定要记得按 “Ctrl+S” 保存文件，然后关闭编辑器。这时候还没完，咱们需要重启 COZE 服务，让配置生效。
4. 重启COZE服务，让配置落地
重启服务的步骤也很简单：打开 “Docker” 文件夹，在文件夹空白处点击鼠标右键，选择 “在终端中打开”（如果是 Windows，可能显示 “Open in Terminal”）；然后在终端中输入重启命令。
这里要注意，不同的COZE部署方式，重启命令可能不一样，一般是 “docker-compose down && docker-compose up -d”，如果之前部署时用的是其他命令，就用对应的重启命令。
输入命令后按下回车，等待终端显示 “done”，就说明 COZE 服务已经重启成功了。
到这里，咱们的 “基础设置” 就全部完成了，接下来就是最核心的一步：创建本地知识库，把咱们的文档上传进去。
第3步：创建本地知识库，上传文档并完成向量化
这一步的操作其实跟在线版COZE的知识库创建流程几乎一样，没什么难度，主要是注意文档格式和解析方式两个细节，具体步骤如下：
1. 进入COZE本地知识库页面
打开浏览器，输入本地COZE 的访问地址（一般是 “http://localhost:3000”，具体以你部署时的配置为准），登录后点击左侧菜单栏的 “资源库”，再选择 “知识库”，然后点击右上角的 “创建知识库” 按钮。
2. 选择知识库类型和文档来源
首先选择 “文档类型”：目前本地 COZE 支持 PDF、TXT 两种格式，表格和图片暂时不支持（尤其是图片，开源版还没有 OCR 解析功能，上传图片也提取不了文字），所以建议大家先把文档转成 PDF 或 TXT 格式再上传。
然后选择 “文档来源”：有 “本地文档上传” 和 “手动输入” 两种，这里推荐 “本地文档上传”，直接把准备好的文档（比如业务手册、学习资料）拖进去，或者点击 “选择文件” 上传。我这里用了一份《北京大学 DPSIC 应用落地指南》的 PDF 文档做测试，大家可以用自己的文档代替。
上传完成后，点击 “创建并导入”，进入下一步。
3. 选择文档解析方式
这一步很关键，直接影响后续检索的准确率，大家一定要注意：
解析模式选择 “快速解析”：因为开源版 COZE 不支持图片 OCR 和表格解析，“精准解析” 里的 “扫描图片”“扫描表格” 功能其实用不了，选 “快速解析” 就够了，它会提取文档中所有纯文字内容，不会遗漏关键信息。
分段与清洗选择 “自动分段”：不用手动设置分段长度，让系统自动拆分就行。不过这里要跟大家说一个小问题：自动分段可能会把一些完整的段落拆得比较碎，比如一句话被分成两段，后续检索时可能会出现 “答案不完整” 的情况。解决方法也很简单：后续可以在 “知识库管理” 中手动合并分段，或者上传文档前，先把文档中的大段落拆成小段落，避免系统拆分过碎。
设置好后点击 “下一步”，系统会开始提取文字并分段，耐心等几十秒（时间长短取决于文档大小），直到显示 “分段完成”。
4. 完成向量化存储
分段完成后，系统会自动对每一段文字进行 “向量化处理”（也就是前面说的 “把文字变成数字”），这里不用做任何操作，只需要等进度条走完，显示 “数据处理完成” 后，点击 “确定” 就可以了。
到这里，咱们的本地知识库就创建成功了！接下来怎么验证它能不能用呢？很简单，搭建一个简单的工作流，测试一下检索功能。
第4步：测试本地知识库，断网也能精准找答案
很多人创建完知识库后，不知道怎么用，其实只需要搭一个 “知识库检索” 工作流，就能测试它的效果，具体步骤只有3步：
1. 搭建简单的检索工作流
在 COZE本地页面中，点击左侧 “工作流”，然后点击 “创建工作流”，给工作流起个名字（比如 “本地知识库测试”），进入工作流编辑页面。
然后添加 “知识库检索” 节点：点击左侧 “节点库”，搜索 “知识库检索”，把这个节点拖到画布上；接着点击 “知识库检索” 节点，在右侧的 “配置” 中，选择咱们刚才创建的知识库（比如 “北京大学 DPSIC 指南”），其他设置（比如 “检索条数”“相似度阈值”）暂时不用改，后面再跟大家讲这些参数的作用。
最后连接节点：把 “开始” 节点的输出端拖到 “知识库检索” 节点的输入端，再把 “知识库检索” 节点的输出端拖到 “结束” 节点的输入端，这样一个简单的检索工作流就搭好了。
2. 输入问题测试检索效果
点击工作流右上角的 “试运行”，在弹出的输入框中，输入一个跟知识库内容相关的问题。比如我用的是《北京大学 DPSIC 应用落地指南》，就输入 “专业场景提效中，AI Word 提示词有哪些技巧？”（这个问题在文档中有明确答案），然后点击 “运行”。
等待几秒钟后，系统会返回5个检索结果（默认返回 5 条，可在节点配置中修改），咱们可以看每一条结果的 “相似度得分”（得分越高，匹配度越高），找到最符合的结果。
比如我测试时，系统准确返回了文档中 “AI Word 提示词技巧” 的内容，虽然因为自动分段有些零散，但关键信息都没漏，说明检索是有效的。
3. 测试断网效果（关键验证）
这一步一定要做，咱们搭建本地知识库的核心需求之一就是断网可用，所以测试完联网状态后，把电脑的 WiFi 或网线断开，再重新运行刚才的工作流，输入同样的问题。你会发现，系统依然能正常返回检索结果，速度甚至比联网时还快 —— 这就说明咱们的本地知识库真的 “脱离云端” 了，数据完全在本地流转，安全性和离线可用性都达标了。
第5步：让本地知识库更好用的2个实用提示
1. 文档准备：提前优化格式，减少检索误差
前面提到过，自动分段可能会把文档拆得太碎，所以建议大家上传前，先把文档优化一下：
比如：把大段落拆成 200-300 字的小段落，避免一句话跨段落，删除文档中的空白页、重复内容，减少冗余数据；如果是PDF，尽量用 “可复制文字” 的版本，不要用扫描件（扫描件本质是图片，开源版提取不了文字）。
2. 参数调整：根据需求优化检索效果
后面大家熟悉了之后，可以调整 “知识库检索” 节点中的参数：
比如 “检索条数”，如果想一次看更多结果，可以改成 10 条；“相似度阈值”（0-1 之间），如果想让结果更精准，就把阈值调高（比如 0.8），如果想让结果更全面，就把阈值调低（比如 0.6）。这些参数没有固定标准，根据自己的需求调整就行。
本地AI知识库的应用场景远不止 “查文档”，后续还可以结合 COZE 的智能体功能，让 AI 基于本地知识库自动生成报告、回答客户问题，甚至搭建企业专属的 AI 助手。
来源：李卫华AI创业赋能