用JAX/Flax训练的SmolLM风格语言模型,能在有限的计算资源下高效预训练,快速达到较高性能。该项目专注于利用现代深度学习框架JAX和Flax,提供灵活的训练选项,并优化资源使用,使其适合在计算资源受限的环境中进行实验和开发。
以爱丽丝漫游“可微分”仙境为比喻,向读者介绍神经网络领域的入门书,涵盖自动微分优化函数、序列、图、文本和音频处理的设计技术。
Scenic是一个基于JAX的计算机视觉研究库,支持多种计算机视觉任务,利用JAX的高性能特点,提供灵活和模块化的架构。
Magi是一个基于JAX的强化学习库,支持多种算法并提供灵活的环境接口,易于扩展和自定义,集成了评估和可视化工具。