潜在空间推理训练官网 – 高效推理训练方法

该论文提出了一种在潜在空间（latent space）中进行推理训练的方法，不需要特殊训练数据，且能处理难以用语言描述的推理任务。3.5B 的参数达到了 50B 参数模型的推理基准性能。

潜在空间推理训练的特点:

1. 在潜在空间中进行推理训练
2. 不需要特殊训练数据
3. 能处理难以用语言描述的推理任务
4. 3.5B 参数达到 50B 参数模型的推理基准性能

潜在空间推理训练的功能:

1. 用于训练大型语言模型（LLM）在潜在空间中进行推理
2. 处理复杂的推理任务，尤其是那些难以用语言描述的任务
3. 提高模型推理性能，减少参数量需求

相关导航

chatgpt-corpus开源项目 – 中文语料库，助力大模型训练

ChatGPT 中文语料库，包含对话、小说和客服等多种类型的中文语料，旨在为大型语言模型的训练提供丰富的数据支持，支持多种文本格式，适合多种场景应用。

optimized_hf_llama_class_for_training开源项目 – 专为LLM训练优化的类

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

mosaicml/examples开源项目 – 帮助用户理解和使用机器学习工具

MosaicML 提供的示例项目，旨在帮助用户更好地理解和使用其机器学习工具和框架。该项目包含多种模型训练示例，特别是针对大型语言模型（LLM）的应用。通过高效的资源管理和优化建议，集成了 FSDP（Fully Sharded Data Parallel）以提升训练性能，并提供详细的文档和使用指南，方便开发者快速上手。

NeMo Curator开源项目 – 用于创建和处理NLP数据集

一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的模块，允许 NLP 研究人员从无标注 Web 采集高质量文本，并提供 GPU 加速功能。

LLM-Dojo开源项目 – 开源大模型学习场，适合AI爱好者

LLM-Dojo是一个开源大模型学习场，提供简洁易读的代码框架，支持多种主流模型的训练和强化学习技术，旨在帮助AI爱好者和研究者进行深入的研究和开发。

ml-engineering开源项目 – 帮助训练大型语言和多模态模型

一系列开放的方法，可帮助成功训练大型语言模型和多模态模型，包含丰富的脚本和技术材料，基于作者的实践经验，并提供持续更新的知识库。

NLinear-MoE开源项目 – 高效训练大型语言模型的混合专家库

Linear-MoE 是一个基于 Megatron-Core 的线性混合专家模型库，专注于为高效训练和部署大型语言模型提供强大支持。它集成了多种线性注意力机制，支持多种模型架构，并具备高效的分布式训练能力，助力大规模模型开发。此外，Linear-MoE 还提供了丰富的预训练和微调脚本，极大地简化了开发流程。