FairScale是一个开源的训练工具，专为超大模型设计，旨在让开发者不再受硬件限制，能够在普通设备上高效训练亿级参数的模型。它通过模型并行、零冗余优化、混合精度和流水线训练等技术，显著提升训练效率和资源利用率，同时无缝支持PyTorch开发流程。
