摘要：大家好，我是小墨。今天给大家分享一个非常有意思的开源项目，它可以让你家里的旧手机、平板、电脑等设备变身为一个强大的 GPU 集群，让你在家就能轻松跑起大型 AI 模型！想想看，你闲置的 iPhone、Android 手机、iPad，甚至是吃灰的 Mac 和 L
「小墨是前端」专注分享前端技术，推荐优秀的开源项目，展示Github、Gitee上的创意作品，带你深入前端底层，一起成长。
大家好，我是小墨。今天给大家分享一个非常有意思的开源项目，它可以让你家里的旧手机、平板、电脑等设备变身为一个强大的 GPU 集群，让你在家就能轻松跑起大型 AI 模型！想想看，你闲置的 iPhone、Android 手机、iPad，甚至是吃灰的 Mac 和 Linux 电脑，都能重新焕发生机，为你提供算力，这事儿是不是挺酷的？
这个项目的名字叫 exo，它由 exo labs 团队维护，目前还在积极开发阶段，但在 GitHub 上已经收获了 2.5k 的 star，可见其潜力非凡！
exo 的目标是让你摆脱昂贵的独立显卡，直接用你现有的设备（比如手机、平板、电脑）就能搭建一个分布式 AI 计算集群。 简单来说，就是把你的这些设备连接起来，共同分担 AI 模型的计算任务。这样，你就能运行更大、更复杂的模型，甚至是一些以前想都不敢想的大型语言模型！
它目前支持多种流行的 AI 模型，包括 LLaMA、Mistral、LlaVA、Qwen 和 Deepseek，而且会根据你的设备性能和网络情况进行智能调度和模型划分。 更棒的是，它还提供了类似 ChatGPT 的 API 和 WebUI 界面，让你能够方便地和模型进行交互，简直是懒人福音！
易用性 Max： 安装和使用都超级简单，它会自动发现并连接设备，你不用进行复杂的配置。 只要在每台设备上跑一行 exo 命令，它就自动帮你组队成功，so easy!灵活性 Go： 不管你的设备是啥，是 iPhone 还是安卓机，是独立显卡还是集成显卡，甚至是 CPU，它都能通吃！让你能充分利用身边的各种闲置资源。 就像组装乐高一样，把各种零件拼在一起，组成一个强大的整体。高效性 Up： 它有个很聪明的模型分区策略，会根据你设备内存的大小来分配模型的不同层，从而优化资源利用率，榨干你设备的每一滴性能！兼容性 Good： 它提供了和 ChatGPT 兼容的 API 接口，你就能很方便地把它集成到你自己的应用里，就像给你的应用装上了一个 AI 大脑。去中心化，更稳定： 不像有些集群需要一个 “老大” 来指挥，exo 采用的是 P2P 的连接方式，避免了 “老大” 宕机，整个集群就瘫痪的尴尬情况，稳定性更高！想体验一下 exo 的强大功能？ 其实非常简单，只需要几步就能搞定：
安装： 建议从源码安装：git clone https://github.com/exo-explore/exo.git # 从GitHub克隆仓库 cd exo # 进入仓库目录 pip install -e . # 安装exo启动集群： 在每台你想加入集群的设备上，运行 exo 命令， 它就会自动发现其他设备，并自动组建成一个集群。模型运行（单设备）： 如果你只想在单个设备上运行模型，可以用 exo run 命令。 比如，想运行 LLaMA 模型，就运行 exo run LLaMA 。API 交互： exo 在 http://localhost:52415 提供了一个和 ChatGPT 兼容的 API 接口。 你就可以用 curl 或者其他工具和它进行交互了。下面是一个用 curl 发送消息的示例：curl http://localhost:52415/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-2", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "What is the capital of France?" } ] }'这段代码就是向 exo 发送一个请求，问它 “法国的首都是哪里？” 它会返回答案，整个过程就像在使用 ChatGPT 一样方便。
你肯定好奇，exo 究竟是怎么把这么多设备连接起来，共同运行一个 AI 模型的呢？ 简单来说，它做了这么几件事情：
设备发现与连接： 通过网络协议（比如 mDNS 或者 Bonjour）自动发现局域网内的其他设备，并建立 P2P 连接。模型分片： 把大型 AI 模型分成多个小片段，分别分配到不同的设备上。动态调度： 根据设备的性能、内存大小、网络延迟等因素，动态调整模型的分配和计算任务。 就像一个经验丰富的调度员，把任务合理分配给每个工人。结果汇总： 把各个设备计算的结果汇总起来，得到最终的输出结果。 有点像 “众人拾柴火焰高”，把每个人的力量都集中起来。所以说，exo 背后还是有很多技术含量在里面的！
当然，exo 作为一个还在开发阶段的项目，肯定还有一些不足之处，比如：
支持设备有限： 目前支持的设备主要是一些常见的手机、平板和电脑，一些比较小众的设备可能兼容性不好。配置稍显复杂： 虽然 exo 已经尽量简化了配置过程，但是对于一些不熟悉命令行的用户来说，可能还是有一定的学习曲线。稳定性有待提高： 由于是 P2P 连接，网络环境不稳定时可能会导致连接中断或者性能下降。但我相信，随着社区的不断努力，这些问题都会得到解决。 而且，我觉得 exo 还可以往以下几个方向发展：
支持更多设备： 例如 Raspberry Pi 、电视盒子等等，让更多闲置设备也能派上用场。更友好的图形界面： 开发一个可视化的管理界面，让用户可以更方便地管理集群、监控设备状态。集成更多的 AI 模型和工具： 提供更丰富的 AI 功能，让 exo 成为一个更强大的 AI 平台。总的来说，exo 是一款非常有创意和实用价值的开源项目，它为我们提供了一种低成本、便捷的方式，利用现有设备构建 AI 计算集群，充分利用闲置资源。 虽然它目前还存在一些不足，但我相信，随着社区的不断发展和完善，exo 将会变得越来越强大！
exo 的易用性、灵活性以及去中心化设计是它的主要优势。 如果你对 AI 感兴趣，想在家体验一下大型 AI 模型，或者想让你的旧设备焕发第二春，那么 exo 绝对值得你一试！
创作不易，欢迎大家关注、点赞、收藏、转发！我会继续分享高质量的干货和前沿的技术，给大家提供更多有价值的内容！
来源：小墨是前端
