Mamba训练库,支持PyTorch FSDP分布式训练、混合精度训练、V100和A100转换为HF transformers、检查点连续预训练Mamba模型以及指令调整Mamba模型等功能
Kotomamba的特点:
1. 支持PyTorch FSDP分布式训练
2. 支持混合精度训练
3. 转换V100和A100为HF transformers
4. 检查点连续预训练Mamba模型
5. 指令调整Mamba模型
Kotomamba的功能:
1. 使用PyTorch进行分布式训练
2. 实施混合精度训练以提高性能
3. 将V100和A100模型转换为HF transformers格式
4. 加载检查点以进行连续预训练
5. 对Mamba模型进行指令调整以适应特定任务
相关推荐
暂无评论...