所有AI工具AI学习网站AI开发框架AI开源项目

ChatGLM-6B-QLoRA开源项目 – 高效微调与量化ChatGLM模型

ChatGLM-6B-QLoRA项目利用peft库实现了对chatGLM-6B和chatGLM2-6B模型的4bit QLoRA高效微调,并提供了模型的合并和量化功能。该项目包含了完整的训练和推理流程,以及推理性能测试...

标签:

ChatGLM-6B-QLoRA使用交流:

ChatGLM-6B-QLoRA项目利用peft库实现了对chatGLM-6B和chatGLM2-6B模型的4bit QLoRA高效微调,并提供了模型的合并和量化功能。该项目包含了完整的训练和推理流程,以及推理性能测试,旨在优化模型存储和计算资源的使用。

ChatGLM-6B-QLoRA的特点:

  • 1. 4bit的QLoRA高效微调
  • 2. 支持chatGLM-6B和chatGLM2-6B模型
  • 3. 模型的合并(merge)功能
  • 4. 4bit的量化(quantize)
  • 5. 完整的训练流程
  • 6. 完整的推理流程
  • 7. 推理性能测试

ChatGLM-6B-QLoRA的功能:

  • 1. 高效微调chatGLM-6B/chatGLM2-6B模型
  • 2. 合并lora model和base model
  • 3. 量化模型以减少存储和计算资源
  • 4. 进行模型的训练和推理
  • 5. 测试模型的推理性能

相关导航

暂无评论

暂无评论...