AI开源项目

DeepCompressor-大型语言模型和扩散模型的压缩工具

DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱,支持多种数据类型的假量化,旨在提高模型的推理速度和效率。

DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱,支持多种数据类型的假量化,旨在提高模型的推理速度和效率。
DeepCompressor的特点:
1. 支持8bit以内的任何整数和浮点数据类型的假量化,例如INT8、INT4和FP4_E2M1
2. 高效压缩
3. 加速模型推理

DeepCompressor的功能:
1. 用于大型语言模型的模型压缩
2. 用于扩散模型的模型压缩
3. 优化模型推理速度和内存使用

相关推荐

暂无评论

暂无评论...