Nexa SDK是一款全面支持ONNX和GGML模型的工具包，具备文本生成、图像生成、视觉-语言模型（VLM）、自动语音识别（ASR）和文本到语音（TTS）功能，提供OpenAI兼容的API服务器，支持JSON模式调用函数和流媒体，配备用户友好的Streamlit UI，方便开发者使用和集成。

Kyanite是一个用Rust开发的神经网络推理库，支持CPU和Nvidia GPU，采用模块化设计，能够清晰地分割各个推理阶段，提供高效的内存管理和计算性能。

OpenAI兼容的API，用于TensorRT LLM triton backend，提供了与langchain集成的功能，支持高效推理和灵活后端配置。

functionary是一个开源项目，基于LLaMA 2模型，具备理解和调用函数的能力，提供类似OpenAI API的功能，支持多种编程语言，具有很强的可扩展性和易于集成的特性。

DB-GPT是一个本地化的GPT大型模型，与数据和交互环境紧密结合，完全不依赖外部服务器或云服务，确保用户数据的隐私和安全性。它适用于多种自然语言处理任务，并且能够灵活地适应不同的开发需求。

开源机器学习框架

一个高效的深度学习训练框架，旨在简化模型训练和优化过程，提供了多种预训练模型和工具，适用于计算机视觉任务。

Fast-LLM是一个开源库，旨在加速大型语言模型的训练。它具有快速的训练速度、良好的可扩展性，支持多种模型架构，并且提供易于使用的接口，适合研究和工业应用。

Griffin是一种将门控线性RNN与局部注意力混合在一起的新模型架构，表现优于以往模型，能够处理长上下文并扩展到14B参数。该模型在训练数据量减少的情况下，仍能保持优异的表现，显著改善预测能力，并保留了Transformer架构在合成任务上的许多优点。

一款专注于推理计算流水线的集成开发环境，让开发者能够更便捷地构建、调试和部署LLM计算图。