魔乐社区简易上手指南-AI翻译实践

360影视 2025-01-08 10:32 3

摘要:魔乐社区是一个新兴的人工智能开源平台,集成了openMind能力,具备模型库、数据集库、体验空间等服务,主要面向NLP、CV、Audio的智能处理领域,简易快速的上手体验,极低的使用成本,值得每位初学者加入使用,以实现自己的需求目标。本文通过一个AI翻译实践例

魔乐社区是一个新兴的人工智能开源平台,集成了openMind能力,具备模型库、数据集库、体验空间等服务,主要面向NLP、CV、Audio的智能处理领域,简易快速的上手体验,极低的使用成本,值得每位初学者加入使用,以实现自己的需求目标。本文通过一个AI翻译实践例子,英语翻译到法语的一个t5大模型项目,来实现对魔乐社区及openMind组件的上手使用。

首先我们注册魔乐社区的账号,以便于后续下载开源模型,具体过程不再赘述,在魔乐社区主页点击注册按钮按指引进行即可。

我们选择模型库中的一个t5_small翻译模型进行此次实践。

点击下载后,会有多种下载方式可供选择,这也是魔乐社区的优点所在,可以较为灵活使用各种平台工具。在此我们选择Git下载方式,Git无论开发者还是用户都熟知掌握的工具。没有电脑安装Git还需要自行下载安装包进行安装,也在此不再赘述。

安装好Git之后,我们选择一个合适的目录,用于存放下载的模型文件夹,并在该目录下空白处,鼠标右键点击“Open Git Bash Here”,如果是Windows11用户,需要按住shift键后鼠标右键,再点击“Open Git Bash Here”。

在弹出的git命令行里,我们使用下面的命令进行模型的下载:

git clone https://modelers.cn/PyTorch-NPU/t5_small.git

如果下载的是个人私有模型,还需要在弹出的验证框里输入自己的魔乐社区ID和自己配置的令牌。令牌的配置在魔乐社区的个人中心,点击右侧的访问令牌,然后创建令牌。对令牌进行命名,然后选择权限,一般对于自己的私有模型的使用,我们选择write权限,点击下一步,即可获得令牌。令牌页面关闭后就不再显示,所以需要复制保存到一个安全的地方。

等下载结束后,就可以看到t5_small模型文件夹下载到了本地。点击进入模型文件夹,可以看到整个文件夹的细节,其中examples文件夹就是模型上传者上传的测试脚本范例。

模型下载之后,我们进入模型目录下的examples文件夹,inference.py文件,查看模型上传者提供的测试脚本。由于这面向在线测试的脚本,针对本地测试运行,我们需要把inference.py文件复制到t5_small文件夹同级的目录,并修改文件中的模型路径,如图所示。

在下载模型之前,我们需要在本地创建必要的python开发环境支持模型的运行。一般来说,我们使用Anaconda软件进行环境管理和包库管理,此次实践中,我们创建一个心得环境,并指定python版本为3.8或以上,低于此版本会导致openmind library不可用。随后用pip命令安装必要的库,openmind、openmind_hub、torch、transformers、accelerate。直接用以下语句即可:

pip install openmind openmind_hub torch transformers accelerate

安装完成之后,我们进入创建的新环境,并用cd命令到达t5_small文件夹所在的目录下。然后运行inference.py文件进行本地离线推理,结果如图所示。

看到最后一行,从英文翻译为法文,成功输出了法语句子。至此,AI翻译实践成功。

此外,在魔乐社区主页,还有体验空间的入口,对多种大模型应用进行体验。

通过使用魔乐社区提供的在线算力资源,搭建在线服务。以此次AI翻译为例,在右上角点击创建空间,对空间进行基本设置,点击创建。然后在文件中,对app.py进行代码编写,进行服务的构建。

在构建在线空间的过程中,官方提供了SDK可选项,默认是Gradio库。gradio是一个开源的Python库,可以用简单的几行代码就能搭出一个界面,用户只需要接入自己的模型服务即可,可以让用户专注于模型层面,而不用费尽心思考虑设计开发界面。

我们利用gradio官方提供的例句,搭建一个最简单的界面,然后将t5_small模型的路径加进去,然后设置在线空间的推理卡,由于先前构建的时候选择的是cpu,所以此处设置为cpu。

提交修改后的app.py后,即可等待空间的构建与启动,体验空间最终效果如图所示。

由此看来,魔乐社区的使用体验还是非常良好的,有效降低了新手的学习成本,给予了极好的反馈,也可以让新手有动力进一步探索下去。

来源:DataFunTalk

相关推荐