由知乎和ModelBest公司开发的高性能LLM推理引擎,针对PCIe GPU优化,支持Llama等大模型变体。
ZhiLight的特点:
1. 异步OpenAI兼容接口
2. 自定义张量和统一内存管理
3. 双流并行处理
4. 融合批处理注意力机制
5. 支持多种量化方案(INT8/SmoothQuant/FP8/AWQ/GPTQ)
6. 支持MoE模型
ZhiLight的功能:
1. 用于大模型推理加速
2. 在PCIe GPU上优化性能
3. 实现异步接口调用
4. 进行自定义张量操作
5. 执行量化模型以降低计算资源消耗
相关推荐
暂无评论...