vLLM是一个高吞吐量且内存高效的推理和服务引擎，专为大规模语言模型设计，具备优化的模型加载与推理速度，能够与多种硬件加速器兼容。

llm-numbers是一个每个LLM开发人员都应该了解的工具，提供关键的统计数据和指标，帮助开发者深入理解模型性能。它支持多种语言模型的评估，并易于集成到现有的机器学习工作流中。此外，llm-numbers还提供可视化工具，以便展示模型数据，让开发者更直观地分析结果。

Medusa使用多个解码头部，使大型语言模型的生成速度提升2倍。与传统的小模型生成选项加大模型验证的方式相比，Medusa无需额外的模型，可以与大模型同时训练和使用，特别适合分布式部署场景。

LLM-Engines是一个统一的大规模语言模型推理引擎，支持多种开源模型（如VLLM、SGLang、Together）和商业模型（如OpenAI、Mistral、Claude），通过不同引擎验证推理的准确性，旨在提供高效和灵活的语言处理解决方案。

一个让开发者轻松创建由各大AI模型驱动的机器学习应用的工具包，支持OpenAI、Google Gemini等多家AI服务。

Taylor AI 是一个高效的工具，旨在帮助用户在几分钟内微调开源大语言模型（如Llama2、Falcon等）。它让用户专注于实验和构建更好的模型，而不用花时间在繁琐的Python库上或跟进每一个开源LLM的更新。同时，用户拥有自己的模型，提升了数据安全性和控制权。

一个魔改版的llama2.c，旨在利用1998年的计算机硬件（Intel Pentium II CPU + 128MB RAM）在Windows 98系统上运行大模型。

展示如何使用 TensorFlow 生态系统从 Transformers 构建视觉模型的机器学习管道，支持完整的 MLOps 流程，集成模型管理和监控功能。

vit.cpp是一个使用纯C/C++实现的视觉变换器（ViT）推理库，结合ggml库进行优化，旨在提供高效的图像分类解决方案，易于集成和使用，适用于各种项目和嵌入式系统。

openai-forward是一个专为大型语言模型设计的高效转发服务，支持OpenAI API的反向代理功能，旨在提升请求处理效率，简化集成过程。

K-Scale Sim是一个简单高效的库，专为在MJX和MuJoCo中训练仿人类运动而设计，支持强化学习代理的训练和评估，提供快速原型设计、环境规范和超参数调整功能，同时通过Weights & Biases跟踪和记录训练结果。