AI开源项目

fastllm-全平台高性能大模型加速库

fastllm是一个纯C++开发的全平台大模型加速库,具有无第三方依赖的特性,当前支持国产大模型如ChatGLM-6B和MOSS。该库在单卡上可实现超过10000个token每秒的处理速度,并且能够在...

fastllm是一个纯C++开发的全平台大模型加速库,具有无第三方依赖的特性,当前支持国产大模型如ChatGLM-6B和MOSS。该库在单卡上可实现超过10000个token每秒的处理速度,并且能够在安卓设备上流畅运行ChatGLM-6B,同时支持CUDA进行计算加速。
fastllm的特点:
1. 全平台支持
2. 无第三方依赖
3. 支持国产大模型如ChatGLM-6B和MOSS
4. 单卡可达10000+token/s性能
5. 可在安卓设备上流畅运行
6. 支持CUDA加速计算

fastllm的功能:
1. 在支持CUDA的设备上运行以提高计算速度
2. 在安卓设备上部署和运行ChatGLM-6B模型
3. 使用C++进行大模型推理

相关推荐

暂无评论

暂无评论...