用JAX/Flax训练的SmolLM风格语言模型,能在有限的计算资源下高效预训练,快速达到较高性能。该项目专注于利用现代深度学习框架JAX和Flax,提供灵活的训练选项,并优化资源使用,使其适合在计算资源受限的环境中进行实验和开发。