FlexGen: 针对面向吞吐量的场景在单个 GPU 上运行大型语言模型，旨在提高模型的运行效率和简化部署过程。

Inferflow是一个高效且高度可配置的大型语言模型(LLM)推理引擎，支持多种Transformer模型，用户无需编写源代码，只需通过简单修改配置文件即可进行服务，旨在提供高效的推理性能，适应不同需求。