Lorax 是一个基于 JAX 实现的低秩适应(LoRA)工具,旨在帮助研究人员和开发者高效微调大型语言模型。它利用低秩矩阵的方式,减少了微调过程中需要调整的参数数量,提升了计算效率,同时保持了模型性能。Lorax 易于集成,适合快速实验与原型开发,特别是在处理大型预训练模型时表现出色。
Platypus是一系列经过微调和合并的,在Open LLM排行榜上名列前茅的 LLM 改进方案。通过结合PEFT和LoRA等方法,通过高质量数据集实现强大的性能。
用JAX/Flax训练的SmolLM风格语言模型,能在有限的计算资源下高效预训练,快速达到较高性能。该项目专注于利用现代深度学习框架JAX和Flax,提供灵活的训练选项,并优化资源使用,使其适合在计算资源受限的环境中进行实验和开发。
RectifiedFlow是一个简单统一的PyTorch代码库,专注于扩散和流模型,提供易于使用的平台用于训练和推理,强调简洁性、灵活性和快速原型设计。
humanscript是一种采用LLM推断解释器的脚本语言,能够将自然语言写的命令翻译成可执行的代码,支持与云托管的语言模型(如OpenAI的GPT-3.5和GPT-4)或本地运行的开源语言模型(如Llama 2)一起使用,适合用于各种自动化任务。
GPTder是一个让用户发现和使用更多GPT插件的平台。用户只需创建账户,浏览可用的GPT插件,选择想要使用的插件,并轻松将其集成到现有项目中。
Digit Plexus 是一个机器人硬件平台,旨在将传感器和末端效应器集成到一个共同的平台上,为在任何机器人手中集成触觉传感器提供标准化的硬件和软件解决方案。
是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练,并引入了一种名为ReLoRA的方法,利用低秩更新来训练高秩网络。
《对齐手册》主题是如何使用不同技术来微调语言模型,以使其更符合人类和AI的偏好。
LLM Compressor是一个大型语言模型压缩库,利用领域内最新技术和研究,支持训练中和训练后的压缩技术。该库设计灵活易用,与PyTorch和HuggingFace Transformers兼容,便于快速实验和模型优化。
Lore是一个本地的Mac IDE,专为提示工程和时间旅行而设计。它提供版本控制、全文搜索、多模型支持、组合运行、变体、模型成本感知功能、API集成、令牌统计、自定义端点、本地模型、表格、语法高亮、LaTeX支持、笔记导出、快捷键、Vim模式以及沙盒环境。Lore使用Cocoa、SwiftUI和SQLite构建,旨在提升用户在提示工程中的效率和体验。