AI开源项目

TPI-LLM-边缘设备上的高效语言模型

TPI-LLM是一款高性能的边缘设备语言模型推理系统,能够在资源有限的设备上运行大型语言模型,保护用户隐私,减少延迟。

TPI-LLM是一款高性能的边缘设备语言模型推理系统,能够在资源有限的设备上运行大型语言模型,保护用户隐私,减少延迟。
TPI-LLM的特点:
1. 能够在4台内存为5GB的笔记本电脑上以完整精度运行Yi-34B模型
2. 能够在8台内存为3GB的设备上运行Llama 2-70B模型
3. 适用于资源有限的边缘设备
4. 保护用户隐私
5. 减少推理延迟

TPI-LLM的功能:
1. 在边缘设备上进行语言模型推理
2. 在笔记本电脑上运行大规模语言模型
3. 进行隐私保护的AI应用
4. 优化资源使用以支持大型模型

相关推荐

暂无评论

暂无评论...