基于 llama.cpp 的用于运行 Alpaca 模型的聊天界面。完全自托管，不需要 API 密钥，适用于4GB内存，可运行在 CPU 上。

一个用于中文信息抽取的项目，基于LLaMA和Alpaca模型，结合LoRA技术进行微调。该项目旨在提供高效、准确的中文文本处理能力，特别是在命名实体识别（NER）方面，支持多种训练和评估配置，方便用户根据需求进行模型微调与集成。

XGrammar是一个开源的结构化生成库，支持通用的上下文无关文法进行广泛的结构化生成，提供经过系统优化的快速执行能力。

PrimeQA是一个先进的多语言问答研究与开发的主要资源库，支持最新的深度学习模型，易于扩展和定制，并提供多种数据集与基准测试，适用于实时问答和批量处理场景。

ChatLLM 是一个基础知识库，旨在帮助用户轻松使用大型语言模型（LLM）。它提供生产级的API，支持前后端分离，并兼容多种LLM模型，如文心一言和讯飞星火。该项目易于集成和扩展，具有友好的用户界面，方便开发者和用户使用。

pyllms是一个用于与大型语言模型交互的Python库，提供了对多种模型的统一接口，简化了模型的调用和管理过程，同时支持模型的性能评估和比较。

用Rust语言开发的语言模型管控框架，其设计目标是提供一个简单易用且易扩展的管控框架，帮助开发者创建语言模型管控应用。

vLLM Endpoint | Serverless Worker是一个用于提供大型语言模型端点的RunPod工作模板，基于VLLM技术，支持高效的模型加载与推理，具有极强的扩展性，适合在云环境下快速部署。

Keywords AI是一个提供高质量、低成本替代方案的LLM API，用户可以通过注册免费试用API密钥，体验其测试平台和聊天机器人功能。

getTxt.AI是一个强大的文本提取API，用户可以从多种文件类型中提取文本和Markdown，包括文档、音频、图像和视频。它简化了将这些文件转换为可用文本格式的过程，使开发人员能够将文本处理能力集成到他们的应用程序中，并自动化工作流程。支持超过50种语言，并具有文本摘要和翻译等功能，是任何需要高质量文本提取的AI应用的必备工具。

该项目允许用户在CPU上运行MPT-30B模型的推理，具有低训练和运行成本的特点。用户只需32G内存即可进行模型推理，适合各种文本生成和评估任务。