DeltaPapers集中于预训练模型参数高效方法(Delta Tuning)的重要文献,涵盖最新研究进展,提供每篇论文的摘要和链接,便于用户查找相关领域的关键文献。
ScholarAI是一个基于AI的平台,旨在帮助学者和研究人员简化研究过程,提升学术产出。
在这篇论文中,研究人员修改了Chinchilla扩展定律,以计算最佳的LLM参数数量和预训练数据大小,以训练和部署具有给定质量和推理需求的模型。
LLaVA-LLaMA-3是基于Llama-3-8b大型语言模型(LLM)的LLaVA-v1.5复现项目,旨在提供预训练模型及相关的训练和演示脚本,方便研究人员和开发者进行自然语言处理任务的探索与应用。
FastLLM是一个动态策略选择的深度学习模型训练代码库,集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术,旨在优化大规模语言模型的训练效率,提供更加灵活和高效的训练方案。
ControlNeXt 是一种可控视频和图像生成方法,支持多种形式的控制信息,参数减少高达90%,实现更快的收敛速度和出色的生成效率。该项目提供了与 ControlNet 相比更高效的训练方式,并能够与其他 LoRA 技术无缝集成。