EasyDeploy是一款一站式大规模模型部署利器,让模型部署变得轻松又高效,支持多种引擎,提供RESTful API,便于快速集成和应用。
Harmony Framework 是一个用于构建高性能 PHP 应用程序的框架,旨在提供灵活性和可扩展性。
外卖系统后端,使用jdk22和springboot3构建,集成了MySQL、Redis、RabbitMQ等技术,支持Alibaba Cloud OSS和WeChat Pay,旨在打造一个可扩展、安全、高效的外卖系统。该系统设计注重性能与安全性,能够处理大量并发请求,同时支持多种支付和文件存储方式,适合现代外卖服务的需求。
一个基于FastAPI的Llama2嵌入服务,旨在提供高效的文本嵌入功能。该服务通过RESTful API接口,支持多种输入格式,能够快速生成文本嵌入,方便用户集成到现有的应用程序或机器学习管道中。
flask-starter是一个基于Python和Flask 2.0的入门样板模板,提供现代Web应用程序所需的基本功能,适合快速开发和学习Flask。它集成了用户认证、数据库支持和RESTful API,帮助开发者轻松搭建和扩展应用。
go-clean-arch是一个基于清晰架构的Golang项目,旨在帮助开发者更好地组织代码,遵循设计原则,提升项目的可维护性和可扩展性。该项目提供了分层设计,支持依赖注入,并附有示例代码,帮助用户快速上手并构建大型应用。
Swagger 是 RESTful API 的简单而强大的表示,而 go-swagger 为 go 社区带来了一整套功能齐全、高性能的 API 组件,可与 Swagger API 一起使用:服务器、客户端和数据模型。
RestGPT 是基于大型语言模型的自主代理的代码实现,通过 RESTful API 控制现实世界的应用程序。它旨在将语言模型与 API 连接起来,解决与规划、API 调用和响应解析相关的挑战。
gRPC-Gateway 是 Google 协议缓冲区编译器协议的插件。它读取 protobuf 服务定义并生成一个反向代理服务器,该服务器将 RESTful HTTP API 转换为 gRPC。通过提供同时支持 gRPC 和 RESTful 风格的 API,gRPC-Gateway 使得开发者可以更加灵活地构建服务,并与现有的 gRPC 服务无缝集成。
Refact.ai推理服务器是一个自托管的服务,基于Docker镜像,提供高可扩展性和灵活性,支持多种机器学习模型,并提供RESTful API接口,方便用户进行模型推理和管理。
基于 MLX 框架的 Silicon LLM 训练和推理工具包,简化了在 Apple Silicon 上训练和运行大语言模型的过程,旨在为开发者提供高效、易用的工具,以应对资源有限的设备上的大语言模型需求。
LangPort是一个开源的大型语言模型服务平台,旨在提供超快的LLM推理服务,支持Huggingface transformers及多种语言模型,具有易于扩展的特性。
AMD GPU推理引擎:基于 Docker 的 AMD GPU 推理引擎项目,旨在在 AMD GPU 上运行大型语言模型(LLMs),特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能,并支持容器化部署,方便用户进行模型的集成和使用。
WizModel 提供统一的 API,让用户可以轻松地进行机器学习模型推理,无需编写复杂代码,适合生产环境使用。用户可以通过演示界面体验模型,支持多种工具的直接 API 查询。
river是一个用于在线机器学习的Python库,支持增量学习和数据流处理,适合实时预测系统的构建。它具有多种机器学习算法和模型,易于与现有的数据处理管道集成,同时支持模型评估和性能监控。
该项目提供了一个完整的管道,用于在消费级硬件上微调ChatGLM LLM,结合了LoRA(低秩适应)和RLHF(基于人类反馈的强化学习)技术,旨在提升ChatGLM的能力,使其类似于ChatGPT。
voltaML-fast-stable-diffusion是一个轻量级库,通过简单的一行代码实现对Stable Diffusion模型的加速,速度提升可达10倍,支持Dreambooth的快速推理,方便用户进行机器学习和深度学习项目的快速部署和集成。
Bisheng 是一个开源的大模型运维平台,旨在加速下一代人工智能应用的开发与落地,支持多种大模型的集成,提供高效的开发工具和框架。