gigaGPT 是一个训练具有数百亿参数的大型语言模型的最简单实现,代码量仅有500多行,灵感来自于Andrej Karpathy的nanoGPT,专为Cerebras硬件进行优化,能够在大规模集群上运行,如同GPT-3大小的模型。
Web LLM 工具可以将大语言模型直接在浏览器中运行,并且通过 WebGPU 加速,支持多种模型。
基于 MLX 框架的 Silicon LLM 训练和推理工具包,简化了在 Apple Silicon 上训练和运行大语言模型的过程,旨在为开发者提供高效、易用的工具,以应对资源有限的设备上的大语言模型需求。
一个Python包,用于存储、检索和动态创建GPT模型的提示。旨在简化管理大型语言模型的过程,使在生产环境中改进语言模型变得更加简单。
llama-node是一个基于Node.js的项目,旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型,适合个人计算机使用。它基于llama-rs构建,旨在促进AI技术的民主化,使更多开发者能够轻松访问和使用大语言模型。
VERSE-65B 是由深圳元象科技自主研发的支持多语言的大语言模型,参数规模为 650 亿,开源的底座模型。
MAP-NEO是一个完全开源的大型语言模型,提供预训练数据、数据处理流程、预训练脚本和对齐代码,支持中英文,性能与LLaMA2 7B相当。
KTransformers专注于优化大型语言模型(LLM)的推理性能,帮助用户在资源受限的环境中高效运行LLM。它提供灵活的推理优化和高级内核优化,支持放置与并行策略,适用于本地部署和各种资源受限的环境。
TinyZero是一个以不到30美元的成本,利用veRL强化学习训练框架,在qwen2.5模型基础上进行训练的项目,能够复现DeepSeek R1论文中的'Aha moment',并提供完整实验日志和开源代码,方便复现和学习。
由百川智能开发的一个开源可商用的大规模预训练语言模型,支持中英双语,基于Transformer结构,训练于约1.2万亿tokens,具有70亿参数,提供4096的上下文窗口长度,在标准的中文和英文权威benchmark(C-EVAL/MMLU)上均取得同尺寸最好的效果。
mlc-llm是一个能够在任何设备上编译和运行大语言模型的项目,包括移动设备和消费级电脑,支持多种GPU和浏览器环境。
VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法,旨在通过量化技术提高模型的计算效率和存储效率,同时保持模型性能。该项目适用于各种大型语言模型的优化,能够显著减少模型的内存占用和计算资源需求。
siliconflow提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型