让显卡燃起来!部署一个强大的本地 AI 翻译引擎

360影视 动漫周边 2025-09-16 11:19 1

摘要:我们首先通过Ollama 本地部署大模型。我给大家推荐 3 个翻译大模型:其中我正在用的是腾讯的 hunyuan-mt-7B 和谷歌的 gemma3-4b;通义千问 qwen2.5 1B 翻译模型则对显存要求较小,适合配置低的设备。

本文将介绍通过部署 AI 大模型搭建强大的本地翻译工具,本文的内容非常实用而且容易上手。

使用到的工具包括:AI 大模型 + Ollama + 沉浸式翻译插件,当然最好还有一张性能不错的显卡。

我们首先通过Ollama 本地部署大模型。我给大家推荐 3 个翻译大模型:其中我正在用的是腾讯的 hunyuan-mt-7B 和谷歌的 gemma3-4b;通义千问 qwen2.5 1B 翻译模型则对显存要求较小,适合配置低的设备。

这几个大模型官网如下,感兴趣的可以自己了解模型特点:

Hunyuan-MT-7B https://hunyuan.tencent.com/llm/zh?tabIndex=0

Gemma3 https://gemma3.org/zh

Qwen https://chat.qwen.ai/

我们不需要单独去下载这些大模型,只需要通过 Ollama 部署它们即可。

首先到 Ollama 官网下载安装 Ollama:

由于大模型非常占用空间,为了避免 C 盘爆满,记得部署大模型前在 Ollama 设置里修改模型缓存位置到其它硬盘。

然后就是部署合适的翻译大模型。腾讯的 hunyuan-mt-7B 宣传在同级别大模型里表现非常好,谷歌的 gemma3-4b 我目前也在对比着在用,感觉二者实用性都挺不错。下面是 Ollama 的部署命令:

# hunyuan-mt-abliterated:7b-q8_0 Ollama run huihui_ai/hunyuan-mt-abliterated:7b-q8_0 # hunyuan-mt-abliterated:7b-chimera Ollama run huihui_ai/hunyuan-mt-abliterated:7b-chimera-q8_0 # qwen2.5-translator Ollama run lauchacarro/qwen2.5-translator # gemma3-translator:4b Ollama run zongwei/gemma3-translator:4b

如果你有好用的大模型,也可以分享给大家:

部署大模型后,最简单的用法就是在 Ollama 输入框中用提示词进行翻译:

gemma3-translator 提示词:

Translate from Chinese to English: 假如生活欺骗了你, 不要悲伤,不要心急! 忧郁的日子里须要镇静: 相信吧,快乐的日子将会来临! 心儿永远向往着未来; 现在却常是忧郁: 一切都是瞬息,一切都将会过去; 而那过去了的,就会成为亲切的怀恋。

hunyuan-mt-abliterated:7b 提示词

把下面的文本翻译成英文,不要额外解释: 假如生活欺骗了你, 不要悲伤,不要心急! 忧郁的日子里须要镇静: 相信吧,快乐的日子将会来临! 心儿永远向往着未来; 现在却常是忧郁: 一切都是瞬息,一切都将会过去; 而那过去了的,就会成为亲切的怀恋。

大家可以对比一下混元的 Hunyuan-MT-7B 和 Gemma3:4B,哪个表现更好!

速度的话我用的 Tesla T10(约等于 RTX2080 ),速度还能接受。如果想要更快的速度要么换更强的显卡,要么选择更精简的大模型。

这里给大家补充一个知识,现在大模型可能会有很多个不同精度的版本,不同精度版本的大小和内存占用不一样。如果你的显卡显存受限,可以选择更精简的模型提升运行效率。比如我部署的 Hunyuan-MT-7B 就选择了 q8_0 版本减少显存占用。具体可参考下表:

通过 Ollama 窗口互动显然翻译效率太低,所以要把 Ollama 和沉浸式翻译插件结合起来。沉浸式翻译是一个浏览器插件,可以实现网页和文档快速翻译。

浏览器安装沉浸式翻译插件,进入插件设置,点击“翻译服务”添加"自定义翻译服务,选择 Ollama。

填写服务名:随意命名,便于自己辨识即可。API 接口地址:Ollama API 地址,本地运行不用改;APIKEY:APIKEY 本地运行可不用改(默认 ollama);模型名称:运行什么模型就填什么模型;

后面的参数可以不用改,保存设置并启用该翻译服务即可。

运行 Ollama 保持运行,然后点击测试任务,如果没有报错就可以开始自由翻译了。通过这个插件无论是翻译网页还是文稿都统统能搞定!

目前我的方案主要还只是针对网页和文档,后续再补上关于视频翻译的板块。

至于为什么要用本地部署 AI 来翻译,一是 AI 翻译已经可以略胜机器翻译,二是本地翻译用起来有安全感。

来源:什么值得买

相关推荐