ChatGLM-6B-QLoRA使用交流:

ChatGLM-6B-QLoRA项目利用peft库实现了对chatGLM-6B和chatGLM2-6B模型的4bit QLoRA高效微调,并提供了模型的合并和量化功能。该项目包含了完整的训练和推理流程,以及推理性能测试,旨在优化模型存储和计算资源的使用。
ChatGLM-6B-QLoRA的特点:
- 1. 4bit的QLoRA高效微调
- 2. 支持chatGLM-6B和chatGLM2-6B模型
- 3. 模型的合并(merge)功能
- 4. 4bit的量化(quantize)
- 5. 完整的训练流程
- 6. 完整的推理流程
- 7. 推理性能测试
ChatGLM-6B-QLoRA的功能:
- 1. 高效微调chatGLM-6B/chatGLM2-6B模型
- 2. 合并lora model和base model
- 3. 量化模型以减少存储和计算资源
- 4. 进行模型的训练和推理
- 5. 测试模型的推理性能
相关导航
暂无评论...