深度求索发布的开源代码大模型，33B版的性能显著优于现有的开源代码 LLM。该项目包含多个规模的代码语言模型，经过预训练，支持多种编程语言，能有效提升代码补全和填充的效率。

lealone-bench 是一个用于性能测试的项目，尤其关注 spsc 链表的性能对比，包含了多种性能测试工具和示例代码。

OneDiff是一个用于加速扩散模型的工具，提供了一种新的免训练、几乎无损的范式，显著提升模型的迭代速度。

GalLama是一个专注于本地agentic任务优化的LLM推理API服务后端，提供实验性特性和模型下载功能，能够支持多模型并发运行及负载均衡，旨在提升推理效率和灵活性。

Amazon Foundation Model Evaluations Library，用于评估大型语言模型（LLMs），帮助选择最适合您用例的LLM。该库提供多种评估功能，覆盖开放式生成、文本摘要、问答和分类任务，旨在帮助用户全面了解不同模型在特定任务上的表现。

OpenCompass是一个大型语言模型评测平台，支持20多种模型和50多个数据集，能够通过高效的分布式评估技术进行快速全面的基准测试。

灵活、健壮和高效的Python软件包，用于支持MLOps(机器学习运维)项目，提供多种工作流支持，优化性能，加速模型部署和监控，易于与其他工具集成，同时提供用户友好的API，确保模型和数据集的版本控制。

VLLM是一个高效的语言模型的推理框架，旨在简化大规模语言模型的部署和推理过程。它支持多种语言模型的快速加载与使用，并提供高效的批处理推理功能，同时支持动态分配硬件资源以优化性能。VLLM内置多种优化算法以提高推理速度，并提供详细的性能监测和调试工具。

在本地计算机上微调 LLAMA-v2（或任何其他 LLM）的最简单方法，提供用户友好的界面和高效的训练过程，支持多种语言模型，方便用户上传数据并进行微调。

斯坦福开发的一种遵循指令的 LLaMA 模型，基于 Meta 的 LLaMA 7B 模型进行微调，性能接近 OpenAI 的 text-davinci-003，支持在单个 GPU 或 CPU 上运行。

DeepSpeed-FastGen是DeepSpeed-MII和DeepSpeed-Inference的组合，用于提高LLM文本生成的吞吐量。它通过Dynamic SplitFuse技术，动态分解和统一prompt和生成，改善持续batching，提升响应性和效率，支持多种模型和硬件，且在多个模型上评测性能优于vLLM，有效吞吐量提升可达2.3倍。

SuperCLUE是一个针对中文大模型的综合性基准测试平台，提供标准化的评估指标和多任务测试能力，旨在帮助研究者评估和比较中文大模型的性能。

Shumai是一个开源的、快速的、网络连接的可微分张量库，适用于TypeScript和JavaScript。