高效LLM推理工具：在Slurm集群上使用vLLM进行高效大型语言模型（LLM）推理，简化了推理服务器的运行和管理，支持自定义配置以适应不同环境

Branches是一个基于图的高级算法原型工具，专为大型语言模型(LLM)的推理和规划设计，旨在提升模型的推理能力和优化决策过程。

一个开源的高性能大语言模型推理库，旨在通过最小的设置在各种硬件上实现大语言模型的推理，并且提供最先进的性能，支持跨多个设备的分布式推理，兼容多种数据格式。

LightLLM是一个基于Python的LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而闻名。它利用FasterTransformer、TGI、vLLM和FlashAttention等开源实现的优势，提供比Vllm更快的表现。

使用LLMPerf工具对LLM推理提供商进行基准测试，通过关键指标评估它们的性能、可靠性和效率，展示结果的透明度和可视化

AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。