EXO 是一个用于在日常设备上运行 AI 集群的分布式推理框架，采用 p2p 连接而不是主从架构。该项目旨在将本地异构设备联起来，以便运行大尺寸的AI模型，如Llama3.1 405B。用户可以通过简单的设置，将多种设备整合为一个强大的AI集群，进行机器学习和深度学习实验。