一种特殊的神经网络架构，可以在不增加推理成本的情况下，为语言大模型（LLM）增加可学习的参数。该研究发现模型比密集模型更能从指令调优中获益，因此提出将MoE和指令调优结合起来。

一种新的优化器，结合了Prodigy和ScheduleFree的优点，旨在减少机器学习训练中的超参数设置，提高模型训练的效率和稳定性。通过简化参数调整过程，帮助用户更专注于模型开发和优化。

Self-Consistency是Google提出的一种方法，通过对单一模型进行多次采样和结果融合，显著提升大规模语言模型的推理能力和输出结果的可信度。该方法特别适用于大模型，能够生成高质量的训练数据，从而优化模型的训练过程。

该研究定义了一种风格的语言模型代理，该代理具有推理和运用外部知识的能力，通过对先前轨迹的迭代训练来提升其性能。

Self-Instruct是一个对齐自生成指令的项目，旨在提升语言模型的适应性，支持多样化任务的处理，适合自适应聊天机器人和自然语言处理任务。

Self-Translate是一种技术，通过利用多语言语言模型的少样本翻译能力，能够有效地提高多语言语言模型的性能，克服对外部翻译系统的依赖，尤其在非英语输入场景下表现优越。

大型语言模型微调用高质量数据集大列表，帮助提升模型的准确性和多样性，使其更好地理解和执行指令。该项目提供了丰富的高质量数据集，支持不同语言模型的微调需求，适合研究人员和开发者使用。

Macgence是一家领先的人工智能训练数据公司，专注于提供卓越的人机协作解决方案，以提升AI的性能和效果。该公司致力于通过高质量的数据和先进的技术，推动AI在各个领域的应用和发展。

ReDel是一个工具包，旨在帮助研究人员和开发者构建、迭代和分析递归多智能体系统。

DeepSpeed Chat是一个系统框架，可以在模型训练中加入RLHF流程。它支持各种规模的高质量类ChatGPT模型的训练，包括千亿级大模型的一键RLHF训练。

mcts-llm是一个集成了蒙特卡洛树搜索（MCTS）和提示工程技术的轻量级项目，旨在提高大型语言模型（LLMs）的性能。该项目通过结合MCTS算法与大型语言模型，优化提示工程，来提升模型的响应质量。其轻量级的设计使得该项目易于集成和使用，并且支持多种语言模型，适用于各种自然语言处理任务。

Lorai是一个平台，允许用户使用自己的品牌资产训练生成AI模型，以在几秒钟内创建独特内容。用户可以在浏览器中轻松训练低秩适应（LoRAs），无需计算资源，快速生成高质量设计元素。

Platypus是一系列经过微调和合并的，在Open LLM排行榜上名列前茅的 LLM 改进方案。通过结合PEFT和LoRA等方法，通过高质量数据集实现强大的性能。

一种通过基于目标的预训练方法来提高强化学习中的样本效率。

Prompt Perfekt通过帮助用户构建精准、指令性和可操作的提示，优化与AI的交互，确保AI按照用户的意图执行。

Black Forest Labs的Flux模型训练脚本集，支持LoRA和ControlNet模型的微调，使用DeepSpeed进行高效训练，适用于512x512及1024x1024图片尺寸，提供下载链接和训练配置文件