ModuleFormer是一种基于MoE（Mixture of Experts）的架构，旨在提高大型语言模型的计算效率和可扩展性。其设计允许通过稀疏激活专家子集来实现与密集型语言模型相同的性能，同时在吞吐量上超过两倍。此外，它对灾难性遗忘具有免疫力，能够通过引入新专家来学习新知识，并且支持对特定微调任务的专家进行专注，便于轻量级部署。

Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。

PrimeQA是一个先进的多语言问答研究与开发的主要资源库，支持最新的深度学习模型，易于扩展和定制，并提供多种数据集与基准测试，适用于实时问答和批量处理场景。

VideoTuna是一个视频生成模型的精细调优工具，集成了多种AI视频生成模型，支持从文本到视频、图像到视频以及文本到图像的生成，提供预训练、持续训练、后训练对齐和微调等全面的视频生成流程。

2000 Fine Tuning Prompts是一个全面的资源，旨在帮助爱好者学习和实验微调，熟悉其在不同上下文中的功能和应用。

一个开源工具包，用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter，提供更高级的功能，支持社区贡献与扩展。