是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练,并引入了一种名为ReLoRA的方法,利用低秩更新来训练高秩网络。
peft_pretraining的特点:
1. 利用低秩更新进行高秩网络的训练
2. 适用于预训练的Transformer语言模型
3. 在模型规模增加时效率提高
4. 与常规神经网络训练相媲美的性能
5. 高效训练数十亿参数网络的潜力
peft_pretraining的功能:
1. 使用ReLoRA进行语言模型的预训练
2. 在大规模Transformer模型中应用低秩更新
3. 进行参数高效的语言模型微调
相关推荐
暂无评论...