AI开源项目

lm.rs-Rust语言模型推理工具

一个用Rust语言编写的极简语言模型(LLM)推理工具,能够在没有机器学习库的情况下,在CPU上进行完整的语言模型推理,支持多种大型语言模型并具备多模态功能。

一个用Rust语言编写的极简语言模型(LLM)推理工具,能够在没有机器学习库的情况下,在CPU上进行完整的语言模型推理,支持多种大型语言模型并具备多模态功能。
lm.rs的特点:
1. 支持多模态功能,包括PHI-3.5视觉模型和PHI-3.5-mini文本模型
2. 在CPU上独立运行,无需依赖机器学习库
3. 高效的推理速度,适用于高性能处理器
4. 最小化CPU本地运行语言模型推理
5. 支持多种大型语言模型

lm.rs的功能:
1. 在本地机器上进行语言模型推理
2. 在Rust环境中运行语言模型推理
3. 使用PHI-3.5视觉模型进行图像理解
4. 使用PHI-3.5-mini文本模型进行文本生成
5. 利用多模态功能处理图像和文本结合的输入

相关推荐

暂无评论

暂无评论...