VPTQ开源项目 – 高效压缩大型模型

LLMOps是一个灵活、稳健且高效的Python工具包，专为大型语言模型(LLM)的运营设计。它提供了模型注册、实验跟踪和实时推理等关键功能，帮助开发者和研究人员更好地管理和优化他们的模型。该工具包支持高效的操作，并具备灵活的集成能力，适用于各种机器学习工作流。

一个将Transformers与YOLO及其他单阶段检测器(SSD)结合的深度学习框架，提供高性能推理和便捷的CLI接口。支持D-FINE等先进模型，具备视频流推理、自动分布式训练等特性。适用于需要transformer增强的目标检测任务，提供Python API和Docker部署支持。

Dataoorts GPU Cloud专为AI开发者构建，提供GC2和T4s GPU实例，以助力开发和部署任务。其GPU实例具有高性价比，确保每个人都能使用强大的计算能力。

SuperDuperDB 允许用户在不需要将数据移动到复杂的管道和专业向量数据库的情况下，轻松构建AI应用。它能够将AI和向量搜索直接整合到数据库中，支持实时推理和模型训练，且只需使用Python编程。

该项目让你可以在浏览器里跑一个 DeepSeek-R1-Distill-Qwen-1.5B 模型，使用 🤗 Transformers.js 和 ONNX Runtime Web，本地运行。

MLX 是 Apple 芯片上用于机器学习的阵列框架，由 Apple 机器学习研究团队提供。它提供了熟悉的 API 和强大的功能，支持多种计算模式和设备，旨在简化机器学习模型的构建与训练。

SuperDuperDB允许用户在无需将数据移动到复杂管道或专门的向量数据库的情况下，轻松构建AI应用。它直接与数据库集成AI和向量搜索，支持实时推理和模型训练，只需使用Python。

基于 Ray 的 LLM 全生命周期解决方案，包括预训练、微调、部署和服务，支持 Python/SQL API，基于 Ray，易于扩展

基于TileDB存储引擎开发的用于向量搜索的C++库和Python API，提供灵活的接口和高效的性能，适用于多种数据格式，支持云原生应用和无服务器架构。

一个专为加速多模态模型（如 PaliGemma、Florence-2 和 Qwen2-VL）微调的工具，简化配置、数据加载、重现性和训练循环的设置。

在本地运行开源分割任何模型的工具(受Ollama启发)，提供原始SAM和高效SAM等分割任何模型，本地API(CLI、Python和HTTP接口)，以及自定义功能，可托管自定义视觉模型

textsum 是一个使用 Transformer 摘要模型的工具，能够处理任意长度的文本文档，支持生成高质量的摘要。它提供了命令行接口和 Python API，使得用户可以方便地集成和使用该工具。

sherpa 是一个针对 llama.cpp 模型的演示应用，专为移动设备设计，提供高效的模型推理和用户友好的界面。

这个开源项目的功能是利用人工智能生成完整的书籍。

fscan是一款开源免费的内网综合扫描工具，能够方便一键自动化、全方位进行漏扫扫描。