
QLLM是一个通用的大语言模型量化工具箱,支持2-8位的LLM量化,用户可以轻松使用GPTQ和AWQ方法进行模型量化和压缩。该工具箱提供了易于使用的工具和接口,适用于多种大语言模型,旨在帮助用户在不同精度下评估模型性能。
QLLM的特点:
1. 支持2-8位的LLM量化
2. 兼容GPTQ/AWQ量化方法
3. 提供易于使用的工具和接口
4. 适用于多种大语言模型
QLLM的功能:
1. 使用QLLM进行LLM的量化
2. 通过GPTQ/AWQ方法实现模型压缩
3. 在不同精度下评估模型性能
相关导航
暂无评论...