Ray是一个由UC Berkeley开源的分布式计算框架,专注于简化大规模机器学习模型的训练与部署。它提供灵活的任务调度和资源管理,支持高效的资源利用和成本节约,让开发者能轻松扩展计算能力,处理复杂模型训练任务。Ray还具备弹性伸缩、异构调度和容错机制等特点,确保计算稳定性和效率。
Arroyo 是一个用 Rust 编写的分布式流处理引擎,旨在高效地对数据流进行有状态计算,支持对高速实时数据进行复杂查询,并能在亚秒级内返回结果。它提供了 SQL 和 Rust 管道,可扩展到每秒处理数百万事件,并支持类似窗口和连接的有状态操作。此外,Arroyo 还为容错和管道恢复提供状态检查点,通过数据流模型实现及时流处理。