所有AI工具AI学习网站AI开发框架

Pretraining LLMs-引导学员完成LLM预训练流程

吴恩达的课程,旨在引导学员完成LLM预训练流程,包括数据准备、模型架构配置、训练和评估。学员将学习如何使用HuggingFace获取训练数据,配置Transformer网络,运行训练并进行性能...

标签:

吴恩达的课程,旨在引导学员完成LLM预训练流程,包括数据准备、模型架构配置、训练和评估。学员将学习如何使用HuggingFace获取训练数据,配置Transformer网络,运行训练并进行性能评估,同时探讨深度升级技术以降低计算成本。

Pretraining LLMs的特点:

  • 1. 使用HuggingFace获取和准备训练数据
  • 2. 配置Transformer网络,包括修改现有模型
  • 3. 使用开源库设置并运行训练
  • 4. 使用流行的评估策略进行性能基准测试
  • 5. 探讨深度升级技术以降低预训练计算成本

Pretraining LLMs的功能:

  • 1. 学习如何准备和清理训练数据
  • 2. 配置和修改Transformer模型
  • 3. 运行模型训练并进行评估
  • 4. 比较基础模型与经过微调和预训练的变体
  • 5. 应用深度升级技术进行模型训练

相关导航

暂无评论

暂无评论...