SkyPilot开源项目 – 大模型推理框架管理

一站式AI开发平台，支持机器学习、深度学习和大模型开发。它提供从数据管理到模型部署的全流程支持，涵盖在线开发、分布式训练、推理服务等功能，帮助企业和开发者高效构建AI应用。

Xorbits Inference（Xinference）是一个功能全面的分布式推理框架，支持大语言模型（LLM）、语音识别模型、多模态模型等各种模型的推理。它适用于研究者、开发者和数据科学家，支持一键部署自定义模型或内置开源模型，可在笔记本电脑、千节点集群及边缘设备上运行。

Datature是一个完整的AI视觉平台，允许团队和企业在不编写任何代码的情况下构建计算机视觉应用。它提供数据集管理、标注、训练和部署等多种功能，旨在简化整个计算机视觉开发流程。用户只需注册并登录到平台，即可管理数据集、标注图像或视频、使用自动化工作流程训练计算机视觉模型，并将模型部署到生产环境中。

modelkit是一个极简但功能强大的Python MLOps库，方便将机器学习模型快速部署到产品中，兼容多种框架，提供模型版本控制和多种数据源支持。

Roboflow是一个综合平台，旨在帮助软件识别和分析图像和视频中的物体，适用于开发者和工程师，简化数据集创建、模型训练和生产部署的过程。

Qwak是一个综合性的AI平台，旨在简化机器学习模型的开发、部署和管理。该平台支持各种规模的AI项目，从通用AI和大型语言模型到经典机器学习，提供统一的环境，使用户能够高效地将想法转化为可扩展的AI应用。无论是初创企业还是大型企业，Qwak都提供必要的工具和基础设施，帮助推动AI项目的进展，避免复杂的集成和基础设施管理带来的麻烦。

该存储库列出了应用于卫星和航空图像的深度学习主题的资源，同时涵盖经典机器学习技术、云计算和模型部署等主题。

PeriFlow是一个创新的生成式AI模型服务引擎，支持大型语言模型（LLM）。它以低成本实现了70~90%的GPU节省，同时提供两种部署选项：PeriFlow容器和PeriFlow云。

一套用于在Google Cloud Vertex AI和Google Kubernetes Engine上训练和部署模型的Docker镜像

灵活、健壮和高效的Python软件包，用于支持MLOps(机器学习运维)项目，提供多种工作流支持，优化性能，加速模型部署和监控，易于与其他工具集成，同时提供用户友好的API，确保模型和数据集的版本控制。

pytorch/ort是一个旨在使用ONNX Runtime加速PyTorch模型推理的工具，支持将PyTorch模型转换为ONNX格式，利用ONNX Runtime提升推理性能，并兼容多种硬件后端。该项目还支持动态计算图，简化模型部署流程，让用户能够更轻松地在不同平台上运行优化后的模型。

sherpa-ncnn 是一个使用下一代 Kaldi 和 ncnn 构建的实时语音识别系统，支持多种语言和方言，具备低延迟性能，适合各种实时应用场景。它提供灵活的模型部署选项，并兼容 Kaldi 的最新技术，能够满足开发者的多样化需求。

Envole是一个协作式的、基于AI的端到端机器学习平台，专注于数据管理和模型部署，旨在简化和优化整个机器学习流程。

LLM微调中心，用于将各种大型语言模型进行微调，以适应个性化用例，提供丰富的微调脚本和最新研究成果，支持模型部署及自定义微调，旨在提高模型在特定数据集上的性能。

PostgresML是一个完整的MLops平台，以简单的PostgreSQL扩展形式存在。它允许用户在数据库内部快速、简单且强大地构建模型。