摘要:在当今人工智能飞速发展的时代,自托管 AI 平台逐渐成为开发者和用户的热门选择。它们提供了更高的定制性和隐私保护,让用户能够在自己的环境中部署和使用 AI 技术。Open WebUI 就是一个强大的 AI 模型部署解决方案,能为用户带来了丰富的功能和便捷的使用
在当今人工智能飞速发展的时代,自托管 AI 平台逐渐成为开发者和用户的热门选择。它们提供了更高的定制性和隐私保护,让用户能够在自己的环境中部署和使用 AI 技术。Open WebUI 就是一个强大的 AI 模型部署解决方案,能为用户带来了丰富的功能和便捷的使用体验。
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,仓库位于 https://github.com/open-webui/open-webui。Open WebUI 旨在完全离线运行,支持各种大语言模型(LLM)运行器,如 Ollama,以及任意与 OpenAI 兼容的 API,并且内置了用于 RAG(检索增强生成)的推理引擎,是一个强大的 AI 部署解决方案。
Open WebUI 有以下特性:
部署简单:使用 Docker 或 Kubernetes(kubectl、kustomize 或 helm)即可无缝安装,轻松上手,支持 :ollama 和 :cuda 标签的镜像。支持 Ollama / OpenAI API 集成:可轻松集成 OpenAI 兼容的 API,同时结合 Ollama 模型,实现多样化的对话。可自定义 OpenAI API URL,以链接LMStudio、GroqCloud、Mistral、OpenRouter 等。细粒度权限和用户组控制:管理员可创建详细的用户角色和权限,确保用户环境的安全性。这种细粒度不仅增强了安全性,还能提供定制化的用户体验。响应式设计:在台式电脑、笔记本电脑和移动设备上均可享受无缝体验。PWA 适用于移动设备:通过 PWA 在移动设备上享受类似原生应用的体验,支持本地离线访问,界面流畅。模型构建器:通过 Web UI 轻松创建 Ollama 模型。可创建和添加自定义角色 / 智能体,定制聊天元素,并通过Open WebUI 社区集成轻松导入模型。原生 Python 函数调用工具:在工具工作区中提供内置代码编辑器支持,增强大语言模型的功能。可通过简单添加纯 Python 函数实现 “自带函数”(BYOF),从而与大语言模型无缝集成。本地 RAG 集成:引入检索增强生成(RAG)支持,将文档交互无缝融入聊天体验。可将文档直接加载到聊天中,或将文件添加到文档库中,使用#命令加查询语句即可轻松访问。网络浏览功能:使用#命令后跟 URL,可将网站无缝集成到聊天体验中。此功能允许将网络内容直接融入对话,提升交互的丰富性和深度。图像生成集成:可通过 AUTOMATIC1111 API 或 ComfyUI(本地)以及 OpenAI 的 DALL-E(外部)等选项,无缝集成图像生成功能,为聊天体验增添动态视觉内容。Open WebUI 支持使用多种方法安装。对于拥有 Python 开发环境的开发者,可以直接通过 pip 安装:
pip install open-webui安装完成后,在本地直接运行:
open-webui serve如果想要更为独立的环境,则可以使用 Docker 进行安装部署。若本地已经部署了 Ollama ,则可以执行命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main如果 Ollama 在其他服务上,则更改 OLLAMA_BASE_URL 为对应服务的 URL:
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main还可以指定使用 Nvidia GPU 的支持:
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda如果使用的是 OpenAI API,则提供 API_KEY 运行:
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainOpen WebUI 支持完全离线的运行,可以通过把 HF_HUB_OFFLINE 配置为 1 来完全禁止任何下载在线模型的操作:
export HF_HUB_OFFLINE=1Open WebUI 作为一个功能强大的自托管 AI 平台,具有广泛的应用方向。它可以用于个人学习和研究,让用户在本地环境中尝试各种 AI 模型和技术;也可以用于企业级应用,如构建智能客服系统、数据分析和预测等。其丰富的功能和易于使用的特点,使其成为 AI 爱好者和开发者的理想选择。
来源:每日开源代码