dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。

一个轻量级LLM应用开发框架，类似于Python requests库的简洁设计理念，提供了90%必需的LLM开发功能。

一个用Rust开发的本地LLM接口工具，支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统，能将LLM的概率性输出转换为确定性信号，大幅提高输出可靠性。

AutoGen UI是一个支持使用多个代理来开发大型语言模型（LLM）应用的框架。这些代理能够相互对话，以协同解决复杂任务，极大地简化了LLM应用的开发流程，同时具有强大的可扩展性和用户友好的Web界面。

E2B桌面沙箱为大型语言模型（LLM）提供图形桌面环境的沙盒服务，旨在通过安全的计算机使用体验提供隔离的云端环境。

mlc-llm是一个能够在任何设备上编译和运行大语言模型的项目，包括移动设备和消费级电脑，支持多种GPU和浏览器环境。

Token.js是一个集成了200多个大型语言模型（LLM）的TypeScript SDK，采用OpenAI格式，支持在客户端运行，无需代理服务器，且为免费开源项目，得到了社区的广泛支持。

一个用于端到端架构和大语言模型（LLM）的项目，旨在简化和优化开发过程。

文章提出了一个七阶段的LLM微调流程，涵盖了从数据准备到模型部署的完整生命周期，提供了实用的技术和方法，以提升大规模语言模型的性能和应用效果。

为低延迟和高扩展性设计的快速轻量级代理，支持LLM的多种实验和推出特性，适用于生产环境

AIOS是一款大型语言模型（LLM）代理操作系统，将大型语言模型嵌入到操作系统中，作为OS的大脑，使得操作系统具备“灵魂”，这是迈向人工通用智能（AGI）的重要一步。

Bind是一个协作的GenAI应用开发平台，允许用户轻松创建用于营销、销售和支持的AI助手。它提供全面的工具和功能，连接各种数据源，部署强大的AI助手，以洞察和回答客户数据。用户可以构建LLM机器人，连接实时数据，自动化任务，并提供私有的LLM基础设施来轻松部署应用。

magentic允许用户将大型语言模型（LLMs）集成到Python函数中，简化了LLM的调用与管理，提供易于使用的API，支持多种LLM模型，适合快速原型开发和测试。

Salute是一个简单的声明式控制大型语言模型（LLM）的方法的JavaScript库，旨在简化与LLM的交互，使开发者能够轻松管理和配置语言模型的行为。

Hegel AI Prompt Playground是一个供团队实验大型语言模型（LLM）和提示的工具，用户可以跟踪尝试过的历史记录并添加评估，帮助开发者更高效地迭代出适合其用例的工作提示和模型组合，附带SDK。

Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。

一个使用简单、原始的 C/CUDA 进行LLM培训的项目，旨在提供轻量级的实现，减少对大型库的依赖。

kotaemon是一个开源的RAG基础工具，旨在通过可视化界面与用户的文档进行便捷的对话。它不仅提供了多种功能模块，还支持多种大型语言模型（LLM）的API，能够适应不同的使用场景，确保信息的实时更新与准确性。