解锁魔乐社区:AI模型上传与管理的终极攻略

360影视 2025-01-08 10:27 3

摘要:魔乐社区(Modelers)是一个致力于人工智能技术发展的平台,凭借其丰富的AI模型库和庞大的数据集资源,成为了AI开发者的热门聚集地。在这里,开发者不仅可以分享自己的研究成果,还能参与到更广泛的技术讨论和合作中。模型上传的教程官网上有详细说明,该文章旨在介绍

一、魔乐社区简介

魔乐社区(Modelers)是一个致力于人工智能技术发展的平台,凭借其丰富的AI模型库和庞大的数据集资源,成为了AI开发者的热门聚集地。在这里,开发者不仅可以分享自己的研究成果,还能参与到更广泛的技术讨论和合作中。模型上传的教程官网上有详细说明,该文章旨在介绍模型上传过程中容易遇到的问题和解决方案。

二、为什么选择魔乐社区上传模型

魔乐社区拥有大量的AI模型和数据集,为开发者提供了丰富的学习和研究资源。此外,社区内汇聚了众多AI领域的专家和爱好者,可以进行深入的技术交流和合作。魔乐社区提供了多种上传和管理模型的工具,简化了模型分享的过程,通过共享模型,开发者可以推动整个社区的技术进步和创新。

三、如何上传模型到魔乐社区

1、注册用户并创建Token

登录魔乐社区后,在个人中心创建一个具有Write权限的Token,用于后续的模型上传操作。

2、创建模型仓库

填写仓库信息并创建后,系统会自动生成一个包含模型信息的README.md文件。

3、上传模型

魔乐社区可以通过以下三种方式之一上传模型到魔乐社区:使用Git命令上传模型,使用openMind Hub Client上传模型;使用push_to_hub上传模型,本文重点介绍openmindHubClient上传。

参考https://modelers.cn/docs/zh/openmind-hub-client/0.9/install.html ,安装openMind Hub Client。openMind Hub Client提供了upload_folder函数向仓库上传文件夹。常用参数:folder_path(要上传的本地文件夹的路径,必选)和repo_id(仓库地址,必选)

以上代码示例将本地D:\OpenELM-3B文件夹中所有文件上传到仓库xyb/OpenELM-3B中,其中划红线的为用户名。默认情况下,文件夹内的所有文件都将上传到仓库的根目录。我在上传的过程中遇到一些问题,例如:

(1)访问受限Accessdenied

是因为openMind Hub Client通过黑白名单的方式控制要上传文件的路径,文件的绝对路径不能以黑名单中的路径开头(默认缓存路径~/.cache/openmind除外),且必须在白名单中。黑名单为["/etc", "/var", "/bin", "/boot", "/lib", "~/."],白名单在linux下默认为["/tmp", "~/"],windows下为["~/", "D:", "E:", "F:"]。如不满足用户需求,用户可以通过配置环境变量HUB_WHITE_LIST_PATHS(用逗号隔开每个路径)自行配置白名单,同时黑名单权限的优先级大于白名单权限。由于我是Windows系统,因此将模型文件夹保存在一级盘符是最保险的做法。

(2)模型可用性报错

后续模型可用性测试时报错,下载日志文件后发现提示确实inference.py文件。由于模型可用性测试脚本默认是以inference.py为入口。因此在上传模型时,文件夹中一定要有example文件夹以及inference.py文件。具体可参考https://modelers.cn/docs/zh/community/models/verifying_models.html 。

如果上传后才发现忘记,可以通过openMind Hub Client重新上传或者直接新建文件,文件命名为xxx.py或者xxx.txt。

四、CI模型可用性测试

1、什么是CI测试

CI(Continuous Integration)测试是一种自动化测试流程,确保每次提交的代码都能正常运行。在魔乐社区,CI测试确保上传的模型能够正确运行,并符合社区的标准。

2、如何跑通CI测试

CI测试脚本以inference.py为入口。脚本编写请严格遵照魔乐社区规范。模型可用性测试脚本必须包含以下两个文件:

(1)requirements.txt:该脚本运行需配置的相应module (如果没有需要安装的依赖,请创建一个空的requirements.txt文件)。

(2)inference.py: 基于openMind Library的可运行的推理脚本。

文件位置:

(1)requirements.txt和inference.py必须位于examples文件夹下。

(2)examples文件夹路径:位于根目录下

(3)requirements.txt路径:examples/requirements.txt

(4)inference.py路径: examples/inference.py

五、模型下载与使用

1、模型下载

魔乐社区支持通过Git命令、Web界面和openMind Hub Client等方式下载模型,用户可根据实际需求选择下载方式。

(1)Git下载

使用Git命令快速完成模型的克隆下载,示例如下:

git clone https://modelers.cn//.git

(2)Web界面下载

Web界面支持单个文件下载,进入模型的“文件”页签,在待下载文件右侧单击“文件下载”。

(3)openMind Hub Client下载

用户可以使用openMind Hub Client创建、更新和检索模型库中的文件,openMind Hub Client通过接口下载整个仓库,示例可参考社区文件。

2、openMind Library下载并加载模型

openMind Library工具只需几行代码即可下载并加载模型,单击模型界面右上角“use in openMind”,获取命令。

# use pipelinefrom openmind import pipelinepipe=pipeline("[task]",model="", trust_remote_code=True, framework="")pipe("人工智能是什么")

六、总结

上传模型到魔乐社区是一个相对直接的过程,但需要注意一些细节以避免常见的问题。通过这些实践,魔乐社区为AI开发者提供了一个强大的平台,不仅能够存储和分享他们的工作成果,还能够参与到更广泛的技术讨论和合作中。随着AI技术的不断进步,魔乐社区将继续作为推动创新和协作的重要力量。欢迎大家使用魔乐共同构建开放的模型社区!

来源:DataFunTalk

相关推荐