mini_qwen使用交流:

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目,包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型,通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数,增加参数量到1B,并进行参数随机初始化。支持中英文,预训练和微调仅需要12G显存,直接偏好优化仅需要14G显存。使用flash_attention_2进行加速,使用deepspeed在6张H800上进行训练,探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。
mini_qwen的特点:
- 1. 1B参数,支持中英文,满足多样化需求
- 2. 预训练、微调、直接偏好优化三步走,训练流程清晰
- 3. 只需12G显存,就能在T4显卡上开启训练之旅
- 4. 详细教程与代码,新手也能轻松上手
- 5. 使用flash_attention_2进行加速
- 6. 使用deepspeed在6张H800上进行训练
- 7. 探究了尺度定律、复读机现象与微调阶段的知识注入
mini_qwen的功能:
- 1. 从零开始打造你的专属大语言模型
- 2. 在T4显卡上进行训练
- 3. 支持中英文的多样化需求
- 4. 通过预训练、微调、直接偏好优化三步走流程进行模型训练
- 5. 使用T4显卡进行预训练
- 6. 使用T4显卡进行微调
- 7. 使用T4显卡进行直接偏好优化
- 8. 详细记录整个训练过程,供学习和交流
- 9. 支持在6张H800上进行高效训练
相关导航

Intel Extension for Transformers
Intel Extension for Transformers 是一个开源项目,旨在使客户端 CPU 上的大型语言模型(LLM)微调成为可能,特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调,适用于笔记本电脑环境,并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容,支持 4 位推理,并利用 Intel 神经压缩器提供丰富的模型压缩技术,如量化、剪枝和蒸馏,显著提高了英特尔平台上的推理效率。此外,它还支持自动化的仅限权重的 INT4 量化流程,兼容多个流行的大语言模型,如 Llama2、Llama 和 GPT-NeoX。
暂无评论...