基于 OpenAI 的聊天开源框架，旨在实现用户可同时获得多个大模型的并行输出。

API for Open LLMs 是一个为开源大语言模型提供统一后端接口的项目，支持多种开源大模型的调用，旨在简化与大语言模型的交互体验。通过提供类似于 OpenAI 的 API 使用方式，开发者能够更方便地集成和利用大语言模型的能力。

LLM Gateway 是一个用于安全可靠地与 OpenAI 和其他语言模型提供商进行通信的网关，旨在提供高效的接口和管理功能，以支持各种语言处理需求。

LightLLM是一个基于Python的LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而闻名。它利用FasterTransformer、TGI、vLLM和FlashAttention等开源实现的优势，提供比Vllm更快的表现。

一个开源可平替 GPT 的工具，能够让你无需写一行代码，100% 离线本地运行主流开源大语言模型，如 Mistral、Llama、Mixtral 等等。

LangChain是一个用于构建基于大型语言模型（LLM）应用的框架，它简化了复杂任务的实现，并支持多种集成和扩展。

InstructScore (SEScore3) 是用于文本生成评估的首个解释性指标，提供全面的评估和诊断报告，帮助识别模型的优缺点，支持多种文本生成任务，并能比较不同模型的输出。

基于 llama.cpp 的用于运行 Alpaca 模型的聊天界面。完全自托管，不需要 API 密钥，适用于4GB内存，可运行在 CPU 上。