摘要:魔乐社区是一个新兴的人工智能开源平台,集成了openMind能力,具备模型库、数据集库、体验空间等服务,主要面向NLP、CV、Audio的智能处理领域,简易快速的上手体验,极低的使用成本,值得每位初学者加入使用,以实现自己的需求目标。本文通过一个AI翻译实践例
魔乐社区是一个新兴的人工智能开源平台,集成了openMind能力,具备模型库、数据集库、体验空间等服务,主要面向NLP、CV、Audio的智能处理领域,简易快速的上手体验,极低的使用成本,值得每位初学者加入使用,以实现自己的需求目标。本文通过一个AI翻译实践例子,英语翻译到法语的一个t5大模型项目,来实现对魔乐社区及openMind组件的上手使用。
首先我们注册魔乐社区的账号,以便于后续下载开源模型,具体过程不再赘述,在魔乐社区主页点击注册按钮按指引进行即可。
我们选择模型库中的一个t5_small翻译模型进行此次实践。
点击下载后,会有多种下载方式可供选择,这也是魔乐社区的优点所在,可以较为灵活使用各种平台工具。在此我们选择Git下载方式,Git无论开发者还是用户都熟知掌握的工具。没有电脑安装Git还需要自行下载安装包进行安装,也在此不再赘述。
安装好Git之后,我们选择一个合适的目录,用于存放下载的模型文件夹,并在该目录下空白处,鼠标右键点击“Open Git Bash Here”,如果是Windows11用户,需要按住shift键后鼠标右键,再点击“Open Git Bash Here”。
在弹出的git命令行里,我们使用下面的命令进行模型的下载:
git clone https://modelers.cn/PyTorch-NPU/t5_small.git
如果下载的是个人私有模型,还需要在弹出的验证框里输入自己的魔乐社区ID和自己配置的令牌。令牌的配置在魔乐社区的个人中心,点击右侧的访问令牌,然后创建令牌。对令牌进行命名,然后选择权限,一般对于自己的私有模型的使用,我们选择write权限,点击下一步,即可获得令牌。令牌页面关闭后就不再显示,所以需要复制保存到一个安全的地方。
等下载结束后,就可以看到t5_small模型文件夹下载到了本地。点击进入模型文件夹,可以看到整个文件夹的细节,其中examples文件夹就是模型上传者上传的测试脚本范例。
模型下载之后,我们进入模型目录下的examples文件夹,inference.py文件,查看模型上传者提供的测试脚本。由于这面向在线测试的脚本,针对本地测试运行,我们需要把inference.py文件复制到t5_small文件夹同级的目录,并修改文件中的模型路径,如图所示。
在下载模型之前,我们需要在本地创建必要的python开发环境支持模型的运行。一般来说,我们使用Anaconda软件进行环境管理和包库管理,此次实践中,我们创建一个心得环境,并指定python版本为3.8或以上,低于此版本会导致openmind library不可用。随后用pip命令安装必要的库,openmind、openmind_hub、torch、transformers、accelerate。直接用以下语句即可:
pip install openmind openmind_hub torch transformers accelerate
安装完成之后,我们进入创建的新环境,并用cd命令到达t5_small文件夹所在的目录下。然后运行inference.py文件进行本地离线推理,结果如图所示。
看到最后一行,从英文翻译为法文,成功输出了法语句子。至此,AI翻译实践成功。
此外,在魔乐社区主页,还有体验空间的入口,对多种大模型应用进行体验。
通过使用魔乐社区提供的在线算力资源,搭建在线服务。以此次AI翻译为例,在右上角点击创建空间,对空间进行基本设置,点击创建。然后在文件中,对app.py进行代码编写,进行服务的构建。
在构建在线空间的过程中,官方提供了SDK可选项,默认是Gradio库。gradio是一个开源的Python库,可以用简单的几行代码就能搭出一个界面,用户只需要接入自己的模型服务即可,可以让用户专注于模型层面,而不用费尽心思考虑设计开发界面。
我们利用gradio官方提供的例句,搭建一个最简单的界面,然后将t5_small模型的路径加进去,然后设置在线空间的推理卡,由于先前构建的时候选择的是cpu,所以此处设置为cpu。
提交修改后的app.py后,即可等待空间的构建与启动,体验空间最终效果如图所示。
由此看来,魔乐社区的使用体验还是非常良好的,有效降低了新手的学习成本,给予了极好的反馈,也可以让新手有动力进一步探索下去。
来源:DataFunTalk