开源的提示工程平台，旨在帮助开发者和产品团队更容易地构建和管理 AI 特性，提供协作管理、测试、性能分析和实时评估等功能，支持云端和自托管两种部署方式

Langfuse是一个旨在帮助开发者构建和管理AI应用程序的基础设施平台，提供了丰富的功能和工具，以简化AI模型的集成和部署。其目标是让AI开发变得更简单、高效，并降低技术门槛。

该项目旨在提供快速体验，允许用户一键部署多种Github开源AI项目，简化了部署过程，减少了用户的配置时间，并提供易于使用的界面和文档，同时定期更新以添加新的项目和功能。

本项目旨在比较各大MLOps平台，如SageMaker、VertexAI、AzureML等，提供详细的功能分析和对比，帮助用户选择最合适的MLOps解决方案。

开源深度学习编译器堆栈，专为CPU、GPU和专业加速器设计，支持简化和高性能的GPU内核编写。

LLM Prompt & Model Playground 是一个让用户可以并排测试两个LLM提示、模型或配置的工具。它支持多种输入的实时测试，极大地加快了提示和模型的测试过程，并且提供了慷慨的免费使用额度。该项目由Context.ai开发。

PeriFlow是一个创新的生成式AI模型服务引擎，支持大型语言模型（LLM）。它以低成本实现了70~90%的GPU节省，同时提供两种部署选项：PeriFlow容器和PeriFlow云。

Collie是一个多功能的AI模型训练与部署框架，旨在简化机器学习模型的开发和管理过程。它基于PyTorch，结合了DeepSpeed和MegatronLM，避免使用复杂的外部库，并提供用户友好的接口和多种内置工具。

BuildAI是一个平台，允许用户构建基于AI的网页应用，专为其业务量身定制，无需任何技术技能。通过文本输入，AI应用生成文本输出，提升客户体验、潜在客户生成及内部工具的功能。

sherpa-ncnn 是一个使用下一代 Kaldi 和 ncnn 构建的实时语音识别系统，支持多种语言和方言，具备低延迟性能，适合各种实时应用场景。它提供灵活的模型部署选项，并兼容 Kaldi 的最新技术，能够满足开发者的多样化需求。

Sample Testing项目可以为每个Git分支自动生成多个预览环境，灵活配置独立的资源和端点，适用于生产、质量保证或单纯的测试和处理。

engshell是一个多功能的终端环境，结合了命令行界面的强大与用户友好的特性，适合开发者使用。

FlagPerf是一个开源软件平台，用于评测AI芯片的性能，旨在通过Zhiyuan Institute与AI硬件制造商的合作开发。