MoE-Infinity开源项目 – 低成本高性能的MoE模型推理库

MoE-Infinity 是一个专为 Mixture-of-Experts (MoE) 模型的推理和服务而设计的 PyTorch 库，具有低成本、高性能和易于使用的特点。它通过专家模块内存卸载和优化技术，显著降低了显存占用和推理延迟，同时兼容 HuggingFace 模型，能够无缝对接主流大型语言模型 (LLM)。

MoE-Infinity的特点:

1. 专家模块内存卸载，节省90%显存
2. 优化技术加持，推理延迟降低80%
3. 兼容 HuggingFace 模型，无缝对接主流 LLM

MoE-Infinity的功能:

1. 用于高效推理 Mixture-of-Experts (MoE) 模型
2. 部署和优化大规模语言模型 (LLM)
3. 与 HuggingFace 模型集成，实现无缝对接

相关导航

Npytorch-lifestream开源项目 – 自监督离散事件序列嵌入库

pytorch-lifestream 是一个基于 PyTorch 的库，专门用于在离散事件序列上构建嵌入。该库利用自监督学习方法，能够高效地生成序列数据的嵌入表示，适用于各种时间序列和事件驱动的应用场景。

lightning-uq-box开源项目 – 提供不确定性量化的PyTorch库

lightning-uq-box是一个基于PyTorch和Lightning的库，旨在为现代神经网络提供多种不确定性量化(UQ)技术，支持灵活的模型训练和评估，并与现有的PyTorch项目无缝集成。

NμKG开源项目 – 多源知识图谱嵌入与应用库

μKG是一个专门用于多源知识图谱嵌入和应用开发的库。它支持多种知识图谱嵌入算法，能够高效处理大规模知识图谱数据，并提供了丰富的API接口，便于开发者进行知识图谱的嵌入学习、融合、推理和预测，以及构建基于知识图谱的应用程序和可视化分析。

LookaheadDecoding开源项目 – 创新的并行解码算法

Lookahead decoding是一种创新的并行解码算法，加速大LLM的推理过程，提升模型生成文本的速度，适用于需要快速回应的应用。

Code Llama开源项目 – 开源代码生成与分析工具

Code Llama 是一个针对代码任务的开源大型语言模型（LLM），旨在提升开发者的工作效率并降低学习编码的门槛。它基于先进的语言模型技术，提供精准的代码补全、生成和调试功能，支持多种编程语言，并提供了不同参数量的模型以适应不同需求。Code Llama 完全开源，适用于研究和商业用途，能够根据自然语言提示生成代码，并提供代码的自然语言解释。

Open-Sora-Plan开源项目 – 提升视频生成质量与长度

Open-Sora-Plan是一个用于视频生成的项目，旨在提升生成视频的质量和长度，采用先进的技术以优化视觉表示和推理效率。

Butternut官网 – 快速生成专业网站的AI工具

Butternut AI 是一款革命性的平台，能够在20秒内根据用户的文本提示生成完整的多页面网站，旨在简化网站开发流程，降低成本，适合各类用户。

Local-Code-Interpreter开源项目 – 本地版ChatGPT代码解释器

OpenAI的ChatGPT代码解释器的本地版，支持自定义环境，增强的数据安全性。

NdhSegment开源项目 – 深度学习文档分割工具

dhSegment是一个通用的深度学习框架，专门用于文档分割。它能够处理各种类型的文档，包括历史文献和现代文档，具有高精度的复杂文档布局分割能力。该项目支持文本和非文本元素的分割，并且是开源的，可在GitHub上获取。

bot-on开源项目 – anything

这个开源项目的主要功能是将 AI 模型如 ChatGPT 等应用于各种不同的平台，例如微信、公众号、钉钉、Telegram 和 QQ 等，让其具备自动聊天的能力。

ChatGPT-for开源项目 – Mac

ChatGPT-for-Mac是一个AI开源项目，它是一个Mac客户端，在任务栏中可以方便地访问ChatGPT，这是一个基于WebView技术的聊天机器人，可以进行智能交互。所以，这个开源项目的功能就是提供一个方便地访问ChatGPT的Mac客户端，让用户可以使用聊天机器人进行智能交互。

SingleAPI官网 – 快速将网站转换为API

SingleAPI是一个基于GPT-4的API，能够快速导航互联网并提取任意网站的数据为JSON格式，旨在简化API创建过程，让用户在几秒钟内将网站转化为API。

CodeSnip Manager官网 – 高效管理AI生成的代码片段

CodeSnip Manager是一个旨在高效保存、管理和组织AI生成的代码片段的平台。用户可以存储AI生成的代码片段，方便访问、修改和重复使用，从而简化编码工作流程。该平台允许开发者对代码片段进行分类和标签化，便于快速搜索和检索特定代码。此外，CodeSnip Manager还提供版本控制功能，以跟踪代码片段的更改，确保用户始终能够访问最新版本。

Iced开源项目 – 受 Elm 启发的 Rust 跨平台 GUI 库

Iced 是一个基于 Elm 的理念构建的 Rust 跨平台 GUI 库，旨在提供一种简单而灵活的方式来创建用户界面。它支持响应式编程，确保类型安全，并能够跨平台运行，适用于桌面、Web（通过 WASM）和移动设备的应用开发。

Langcorn开源项目 – 自动化部署LLM应用的API服务

用 LangChain + FastApi 部署自动化LLM应用，以便将 LangChain 应用作为 API 提供服务