Exo，使用日常设备在家中运行自己的 AI 集群。项目：gith-20240721075857

Exo，使用日常设备在家中运行自己的 AI 集群。

项目：github.com/exo-explore/exo

特点：#ai##ai探索计划#
• 广泛的模型支持
支持 LLaMA（MLX和tinygrad）和其他流行模型。

• 动态模型分区
exo根据当前网络拓扑和可用设备资源对模型进行最佳分割。这使我们就能够运行比在任何单个设备上都能够运行的更大的模型。

• 自动设备发现
使用最佳可用方法自动发现设备，无需手动配置。

• 兼容ChatGPT API
提供了与 ChatGPT 兼容的 API来运行模型。只需在已有的应用程序中进行一行更改，即可使用 exo 在自己的硬件上运行模型。

• 设备平等
与其他分布式推理框架不同，exo 不使用主从架构。相反，exo 设备采用 p2p 连接。只要设备连接到网络中的某个位置，就可以使用它来运行模型。
Exo 支持不同的分区策略，以跨设备分割模型。默认分区策略是环内存加权分区。这会在环中运行推理，其中每个设备运行的模型层数与设备的内存成比例。

ChatGPT 黄建同学的微博视频