摘要:我们首先通过Ollama 本地部署大模型。我给大家推荐 3 个翻译大模型:其中我正在用的是腾讯的 hunyuan-mt-7B 和谷歌的 gemma3-4b;通义千问 qwen2.5 1B 翻译模型则对显存要求较小,适合配置低的设备。
本文将介绍通过部署 AI 大模型搭建强大的本地翻译工具,本文的内容非常实用而且容易上手。
使用到的工具包括:AI 大模型 + Ollama + 沉浸式翻译插件,当然最好还有一张性能不错的显卡。
我们首先通过Ollama 本地部署大模型。我给大家推荐 3 个翻译大模型:其中我正在用的是腾讯的 hunyuan-mt-7B 和谷歌的 gemma3-4b;通义千问 qwen2.5 1B 翻译模型则对显存要求较小,适合配置低的设备。
这几个大模型官网如下,感兴趣的可以自己了解模型特点:
Hunyuan-MT-7B https://hunyuan.tencent.com/llm/zh?tabIndex=0
Gemma3 https://gemma3.org/zh
Qwen https://chat.qwen.ai/
我们不需要单独去下载这些大模型,只需要通过 Ollama 部署它们即可。
首先到 Ollama 官网下载安装 Ollama:
由于大模型非常占用空间,为了避免 C 盘爆满,记得部署大模型前在 Ollama 设置里修改模型缓存位置到其它硬盘。
然后就是部署合适的翻译大模型。腾讯的 hunyuan-mt-7B 宣传在同级别大模型里表现非常好,谷歌的 gemma3-4b 我目前也在对比着在用,感觉二者实用性都挺不错。下面是 Ollama 的部署命令:
# hunyuan-mt-abliterated:7b-q8_0 Ollama run huihui_ai/hunyuan-mt-abliterated:7b-q8_0 # hunyuan-mt-abliterated:7b-chimera Ollama run huihui_ai/hunyuan-mt-abliterated:7b-chimera-q8_0 # qwen2.5-translator Ollama run lauchacarro/qwen2.5-translator # gemma3-translator:4b Ollama run zongwei/gemma3-translator:4b
如果你有好用的大模型,也可以分享给大家:
部署大模型后,最简单的用法就是在 Ollama 输入框中用提示词进行翻译:
gemma3-translator 提示词:
Translate from Chinese to English: 假如生活欺骗了你, 不要悲伤,不要心急! 忧郁的日子里须要镇静: 相信吧,快乐的日子将会来临! 心儿永远向往着未来; 现在却常是忧郁: 一切都是瞬息,一切都将会过去; 而那过去了的,就会成为亲切的怀恋。
hunyuan-mt-abliterated:7b 提示词
把下面的文本翻译成英文,不要额外解释: 假如生活欺骗了你, 不要悲伤,不要心急! 忧郁的日子里须要镇静: 相信吧,快乐的日子将会来临! 心儿永远向往着未来; 现在却常是忧郁: 一切都是瞬息,一切都将会过去; 而那过去了的,就会成为亲切的怀恋。
大家可以对比一下混元的 Hunyuan-MT-7B 和 Gemma3:4B,哪个表现更好!
速度的话我用的 Tesla T10(约等于 RTX2080 ),速度还能接受。如果想要更快的速度要么换更强的显卡,要么选择更精简的大模型。
这里给大家补充一个知识,现在大模型可能会有很多个不同精度的版本,不同精度版本的大小和内存占用不一样。如果你的显卡显存受限,可以选择更精简的模型提升运行效率。比如我部署的 Hunyuan-MT-7B 就选择了 q8_0 版本减少显存占用。具体可参考下表:
通过 Ollama 窗口互动显然翻译效率太低,所以要把 Ollama 和沉浸式翻译插件结合起来。沉浸式翻译是一个浏览器插件,可以实现网页和文档快速翻译。
浏览器安装沉浸式翻译插件,进入插件设置,点击“翻译服务”添加"自定义翻译服务,选择 Ollama。
后面的参数可以不用改,保存设置并启用该翻译服务即可。
运行 Ollama 保持运行,然后点击测试任务,如果没有报错就可以开始自由翻译了。通过这个插件无论是翻译网页还是文稿都统统能搞定!
目前我的方案主要还只是针对网页和文档,后续再补上关于视频翻译的板块。
至于为什么要用本地部署 AI 来翻译,一是 AI 翻译已经可以略胜机器翻译,二是本地翻译用起来有安全感。
来源:什么值得买