摘要:魔乐社区(Modelers)是一个致力于人工智能技术发展的平台,凭借其丰富的AI模型库和庞大的数据集资源,成为了AI开发者的热门聚集地。在这里,开发者不仅可以分享自己的研究成果,还能参与到更广泛的技术讨论和合作中。模型上传的教程官网上有详细说明,该文章旨在介绍
一、魔乐社区简介
魔乐社区(Modelers)是一个致力于人工智能技术发展的平台,凭借其丰富的AI模型库和庞大的数据集资源,成为了AI开发者的热门聚集地。在这里,开发者不仅可以分享自己的研究成果,还能参与到更广泛的技术讨论和合作中。模型上传的教程官网上有详细说明,该文章旨在介绍模型上传过程中容易遇到的问题和解决方案。
二、为什么选择魔乐社区上传模型
魔乐社区拥有大量的AI模型和数据集,为开发者提供了丰富的学习和研究资源。此外,社区内汇聚了众多AI领域的专家和爱好者,可以进行深入的技术交流和合作。魔乐社区提供了多种上传和管理模型的工具,简化了模型分享的过程,通过共享模型,开发者可以推动整个社区的技术进步和创新。
三、如何上传模型到魔乐社区
1、注册用户并创建Token
登录魔乐社区后,在个人中心创建一个具有Write权限的Token,用于后续的模型上传操作。
2、创建模型仓库
填写仓库信息并创建后,系统会自动生成一个包含模型信息的README.md文件。
3、上传模型
魔乐社区可以通过以下三种方式之一上传模型到魔乐社区:使用Git命令上传模型,使用openMind Hub Client上传模型;使用push_to_hub上传模型,本文重点介绍openmindHubClient上传。
参考https://modelers.cn/docs/zh/openmind-hub-client/0.9/install.html ,安装openMind Hub Client。openMind Hub Client提供了upload_folder函数向仓库上传文件夹。常用参数:folder_path(要上传的本地文件夹的路径,必选)和repo_id(仓库地址,必选)
以上代码示例将本地D:\OpenELM-3B文件夹中所有文件上传到仓库xyb/OpenELM-3B中,其中划红线的为用户名。默认情况下,文件夹内的所有文件都将上传到仓库的根目录。我在上传的过程中遇到一些问题,例如:
(1)访问受限Accessdenied
是因为openMind Hub Client通过黑白名单的方式控制要上传文件的路径,文件的绝对路径不能以黑名单中的路径开头(默认缓存路径~/.cache/openmind除外),且必须在白名单中。黑名单为["/etc", "/var", "/bin", "/boot", "/lib", "~/."],白名单在linux下默认为["/tmp", "~/"],windows下为["~/", "D:", "E:", "F:"]。如不满足用户需求,用户可以通过配置环境变量HUB_WHITE_LIST_PATHS(用逗号隔开每个路径)自行配置白名单,同时黑名单权限的优先级大于白名单权限。由于我是Windows系统,因此将模型文件夹保存在一级盘符是最保险的做法。
(2)模型可用性报错
后续模型可用性测试时报错,下载日志文件后发现提示确实inference.py文件。由于模型可用性测试脚本默认是以inference.py为入口。因此在上传模型时,文件夹中一定要有example文件夹以及inference.py文件。具体可参考https://modelers.cn/docs/zh/community/models/verifying_models.html 。
如果上传后才发现忘记,可以通过openMind Hub Client重新上传或者直接新建文件,文件命名为xxx.py或者xxx.txt。
四、CI模型可用性测试
1、什么是CI测试
CI(Continuous Integration)测试是一种自动化测试流程,确保每次提交的代码都能正常运行。在魔乐社区,CI测试确保上传的模型能够正确运行,并符合社区的标准。
2、如何跑通CI测试
CI测试脚本以inference.py为入口。脚本编写请严格遵照魔乐社区规范。模型可用性测试脚本必须包含以下两个文件:
(1)requirements.txt:该脚本运行需配置的相应module (如果没有需要安装的依赖,请创建一个空的requirements.txt文件)。
(2)inference.py: 基于openMind Library的可运行的推理脚本。
文件位置:
(1)requirements.txt和inference.py必须位于examples文件夹下。
(2)examples文件夹路径:位于根目录下
(3)requirements.txt路径:examples/requirements.txt
(4)inference.py路径: examples/inference.py
五、模型下载与使用
1、模型下载
魔乐社区支持通过Git命令、Web界面和openMind Hub Client等方式下载模型,用户可根据实际需求选择下载方式。
(1)Git下载
使用Git命令快速完成模型的克隆下载,示例如下:
git clone https://modelers.cn//.git
(2)Web界面下载
Web界面支持单个文件下载,进入模型的“文件”页签,在待下载文件右侧单击“文件下载”。
(3)openMind Hub Client下载
用户可以使用openMind Hub Client创建、更新和检索模型库中的文件,openMind Hub Client通过接口下载整个仓库,示例可参考社区文件。
2、openMind Library下载并加载模型
openMind Library工具只需几行代码即可下载并加载模型,单击模型界面右上角“use in openMind”,获取命令。
# use pipelinefrom openmind import pipelinepipe=pipeline("[task]",model="", trust_remote_code=True, framework="")pipe("人工智能是什么")
六、总结
上传模型到魔乐社区是一个相对直接的过程,但需要注意一些细节以避免常见的问题。通过这些实践,魔乐社区为AI开发者提供了一个强大的平台,不仅能够存储和分享他们的工作成果,还能够参与到更广泛的技术讨论和合作中。随着AI技术的不断进步,魔乐社区将继续作为推动创新和协作的重要力量。欢迎大家使用魔乐共同构建开放的模型社区!
来源:DataFunTalk