Sparse-Marlin是一个优化工具，专为4bit量化权重的2:4稀疏性推理核设计，旨在提升深度学习模型的计算效率和存储效率，适用于各种深度学习应用。

这个开源项目是一个生成式AI模型优化赛的参赛方案，获得了天池NVIDIA TensorRT Hackathon 2023初赛的第三名。该项目的功能涉及到开源、机器学习等领域。

Intel的LLM加速库，旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。

DeepSpeed Chat是一个系统框架，可以在模型训练中加入RLHF流程。它支持各种规模的高质量类ChatGPT模型的训练，包括千亿级大模型的一键RLHF训练。

基于TensorRT实现的Streaming-LLM技术，旨在支持LLM模型进行无限输入长度的推理，提供高效、实时的AI服务。

这个开源项目的功能是对类似 #ChatGPT# 的模型进行简单、快速且经济实惠的 RLHF 训练。

一个自托管的 GitHub Copilot，GitHub Copilot 的开源/本地替代方案，旨在提供灵活的开发体验。它可以在本地运行，无需依赖外部数据库或云服务，同时具备可视化界面和强大的API接口，方便集成到现有开发环境中。

torchrecipes是一个基于PyTorch的工具包，提供一套标准且广泛支持的蓝图，帮助机器学习工程师快速训练模型，使用最新的研究技术，降低工程开销。

基于扩散模型的控制与规划教程，深度学习在控制和规划中的应用指南，通过扩散模型生成样本，解决多模态分布匹配问题，提高训练稳定性和可扩展性。

CompressGPT 是一个提示压缩器，可以为大多数基于 LangChain 工具的提示减少约70% 的Token，只需更改一行代码，帮助用户在文本生成和处理时大幅降低成本和提高效率。

Shumai是一个开源的、快速的、网络连接的可微分张量库，适用于TypeScript和JavaScript。