ScaleLLM是一个面向大型语言模型高性能推理的系统，经过仔细设计，能够满足产业级环境的需求。

GPT-NeoX是基于DeepSpeed库的模型并行自回归变换器在GPU上的实现，具有高效的训练和推理性能，旨在支持大规模模型的开发和研究。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

BreveAI 提供了一种独特的大型语言模型（LLM）方法，能够与现实世界数据整合，优先考虑任务效率。它采用开源模式，提供易于使用的API，定价透明，较当前LLM价格低30%，且准确率高40%。

metaseq是一个用于训练和评估大型序列模型的框架，旨在简化和加速大规模模型的开发过程。

星辰语义大模型TeleChat2是由中国电信人工智能研究院研发训练的大语言模型，是首个完全国产算力训练并开源的千亿参数模型，包含大约1150亿个参数。

一个开源工具包，用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter，提供更高级的功能，支持社区贡献与扩展。

本文提出了一种解决语言大模型中问题的方法，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在中访问相关信息时，性能会显著下降。

该框架将3D感知集成到预训练的2D扩散模型中，增强了得分蒸馏的鲁棒性和3D一致性，旨在解决2D扩散模型无法捕捉3D一致性的问题。

vocal-separate 是一个极简的人声和背景音乐分离工具，支持本地化网页操作，无需连接外网，使用 2stems、4stems 和 5stems 模型进行高效的人声和背景音乐分离。

AIlice是一个轻量级的AI代理，旨在为开发者提供一个简单的开发框架，快速构建和测试各种AI智能体的想法，同时支持多模态交互和语音交互，为用户提供灵活的参与方式。