一个用C++/CUDA实现的大型语言模型(LLM)推理工具,不依赖额外的库,除了用于输入输出。该工具旨在提供高效的推理能力,支持加载和保存冻结的LLM权重,适合各种应用场景。
Yet Another Language Model的特点:
1. 高性能的LLM推理
2. 仅使用C++/CUDA实现
3. 不依赖额外的库
4. 支持加载和保存冻结的LLM权重
Yet Another Language Model的功能:
1. 运行推理任务以生成文本
2. 加载预训练的LLM权重进行推理
3. 在C++项目中集成LLM功能
相关推荐
暂无评论...