一个通过PyTorch从头开始训练Llama 2 LLM架构模型的项目,支持将权重保存到原始二进制文件并在简单的C文件中推断模型。
llama2.c的特点:
1. 从头训练Llama 2 LLM架构模型
2. 将模型权重保存为原始二进制文件
3. 在简单的C代码中推断模型
4. 支持fp32精度
5. 高效推断速度,288维6层6头模型每秒可处理约100个令牌
6. 适用于云Linux和M1 MacBook Air等开发平台
llama2.c的功能:
1. 在PyTorch中训练Llama 2模型并导出权重
2. 使用run.c文件加载权重并进行推断
3. 进行模型参数调优以提高推断性能
4. 在命令行中运行以进行快速推理
5. 作为C语言项目的一部分集成使用
6. 修改源代码以适应特定需求
相关推荐
暂无评论...