AI开源项目

MiniMind-从零开始的微型语言模型教学项目

MiniMind是一个大语言模型教学项目,完全从0开始,用最快仅3小时训练出仅为26M大小的微型语言模型,旨在降低学习大语言模型的门槛。该项目改进自DeepSeek-V2和Llama3结构,涵盖数...

MiniMind是一个大语言模型教学项目,完全从0开始,用最快仅3小时训练出仅为26M大小的微型语言模型,旨在降低学习大语言模型的门槛。该项目改进自DeepSeek-V2和Llama3结构,涵盖数据处理、预训练、SFT和DPO的全部阶段,并支持混合专家模型。作为一个开源项目,MiniMind非常适合作为大语言模型的入门教程。
MiniMind的特点:
1. 改进自DeepSeek-V2、Llama3结构
2. 包含整个数据处理、预训练、SFT、DPO的全部阶段
3. 支持混合专家(MoE)模型
4. 开源项目,适合作为LLM入门教程
5. 旨在降低上手LLM的门槛

MiniMind的功能:
1. 从0开始训练一个极其轻量的语言模型
2. 用于学习和实验大语言模型的构建
3. 可作为教学工具,帮助理解LLM的工作原理

相关推荐

暂无评论

暂无评论...