所有AI工具AI其他工具AI开源项目

mini_qwen开源项目 – 1B参数中英文大语言模型

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目,包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型,通过扩充模型隐藏...

标签:

mini_qwen使用交流:

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目,包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型,通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数,增加参数量到1B,并进行参数随机初始化。支持中英文,预训练和微调仅需要12G显存,直接偏好优化仅需要14G显存。使用flash_attention_2进行加速,使用deepspeed在6张H800上进行训练,探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。

mini_qwen的特点:

  • 1. 1B参数,支持中英文,满足多样化需求
  • 2. 预训练、微调、直接偏好优化三步走,训练流程清晰
  • 3. 只需12G显存,就能在T4显卡上开启训练之旅
  • 4. 详细教程与代码,新手也能轻松上手
  • 5. 使用flash_attention_2进行加速
  • 6. 使用deepspeed在6张H800上进行训练
  • 7. 探究了尺度定律、复读机现象与微调阶段的知识注入

mini_qwen的功能:

  • 1. 从零开始打造你的专属大语言模型
  • 2. 在T4显卡上进行训练
  • 3. 支持中英文的多样化需求
  • 4. 通过预训练、微调、直接偏好优化三步走流程进行模型训练
  • 5. 使用T4显卡进行预训练
  • 6. 使用T4显卡进行微调
  • 7. 使用T4显卡进行直接偏好优化
  • 8. 详细记录整个训练过程,供学习和交流
  • 9. 支持在6张H800上进行高效训练

相关导航

暂无评论

暂无评论...