llm-jax-高效训练SmolLM风格语言模型

Jax GPT是对Karpathy的nanoGPT的重写，基于Jax和Flax框架构建，旨在提供高效的文本生成能力，支持快速训练和推理，具有易于扩展和修改的架构，能够充分利用高性能的并行计算。

一个 Python 库，用于创建和处理自然语言处理 (NLP) 数据集，以便训练大型语言模型 (LLM)。该库包含一些可扩展的模块，允许 NLP 研究人员从无标注 Web 采集高质量文本，并提供 GPU 加速功能。

以爱丽丝漫游“可微分”仙境为比喻，向读者介绍神经网络领域的入门书，涵盖自动微分优化函数、序列、图、文本和音频处理的设计技术。

Epochraft是一个数据加载器库，专注于即时标记化和检查点功能，特别用于流畅训练语言模型(LLM)，旨在提高数据处理的效率和训练过程的灵活性。

EasyContext 是一个用于内存优化和训练配方的项目，旨在将语言模型的上下文长度扩展到100万令牌，同时对硬件要求最小化。该项目提供了多种方法来提升模型性能，并兼容现有技术的实现，帮助开发者在资源有限的情况下有效地进行模型训练。

Magi是一个基于JAX的强化学习库，支持多种算法并提供灵活的环境接口，易于扩展和自定义，集成了评估和可视化工具。

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个超大规模中文语料集，旨在收集各种形式的纯文本中文数据，包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词等。该数据集不仅涵盖主流文化，还包括各类小众文化及火星文，目标数据量达到40TB，目前进度为19.96%（7984GB），支持社区参与和协作。

Scenic是一个基于JAX的计算机视觉研究库，支持多种计算机视觉任务，利用JAX的高性能特点，提供灵活和模块化的架构。

Reactive Resume是一款强调隐私保护的免费开源简历生成器，提供自托管选项，支持多语言，具有丰富的模板和个性化定制功能，用户可以通过个性化链接与潜在雇主分享简历，同时支持实时更新和ChatGPT集成，方便用户优化简历内容。

crystalcoder-data-prep是为CrystalCoder 7B LLM准备训练数据的代码，涵盖数据下载、token化、序列拼接、FIM增强和数据混洗等多个步骤，旨在提高模型训练的效率和效果。

这是一个汇集了与GPT相关的多个开源项目的合集，提供对各个项目的简要介绍和链接，适用于研究人员和开发者寻找相关资源，并支持多种GPT相关的应用和工具。

Qwen2-VL微调工具：用于微调开源多模态大模型Qwen2-VL，支持单GPU和多GPU训练，提供简易上手的微调脚本和数据，旨在帮助开发者快速进行模型微调或再训练

基于 AbdomenAtlas 3.0 数据集的腹部 CT 扫描图像和医学报告的先进分割与报告生成模型，专为医学影像领域提供高质量的辅助诊断工具。该项目致力于提升医学影像分析的效率和准确性，支持医学专业人员在临床决策中做出更好的判断。

Transformers.js是一个桥接Web开发与本机AI大模型能力的库，为Web AI开发者提供了强大的工具和功能。

rtp-llm 是阿里巴巴大模型预测团队开发的 LLM 推理加速引擎，提供高性能、低成本和用户友好的推理服务，帮助客户和开发人员定制适合其业务的推理服务，从而促进业务增长

Union Cloud是一个旨在整合和简化AI、数据与分析的平台，提供生产级AI编排，能够将上市时间减少，并将样板代码和总管道成本降低多达90%。它基于Kubernetes的Flyte™，为机器学习微服务的构建、部署和管理提供了无忧的解决方案。

系统设计面试准备资料，探讨现代软件的设计，包括可扩展性、可维护性、最终一致性、可用性和可靠性等设计层面的考虑。

一种新型图像生成技术，通过简化预训练扩散变换器的复杂度，实现高效率和高清晰度的图像生成。