基于ONNX Runtime的Java的Stable Deffusion管线,具有GUI界面和负面文本支持,展示了如何在Java中使用ONNX Runtime进行推理,并提供了性能优化的最佳实践
AiInfer是一个C++版的AI推理库,目前专门支持TensorRT模型的推理,旨在提供高性能和易用性。
一个强大的框架,通过集成sparse kernel、量化、剪枝和注意力键/值的缓存,进一步优化了在CPU上进行的能力。
这个开源项目是DragGAN的Windows封装版本,提供了一个Windows GUI界面。用户可以直接解压并使用DragGAN工具,无需配置环境。工具内置了17个模型,可以通过拖动等方式对图像中的对象进行姿势、形状、表情和布局调整。
这是一个新的简单替代方案,基于计算输入激活的权重大小和范数之间的逐元素乘积。
提出 RetNet 作为 LLM 的基础架构,同时实现训练并行性、低成本推理和良好性能。
该框架将3D感知集成到预训练的2D扩散模型中,增强了得分蒸馏的鲁棒性和3D一致性,旨在解决2D扩散模型无法捕捉3D一致性的问题。
该项目探讨了通过量化、剪枝和蒸馏等手段来降低改造和使用大语言模型(LLM)的成本。
Inferflow是一个高效且高度可配置的大型语言模型推理引擎,旨在优化推理性能,支持多种自定义配置,以满足特定需求。
为ComfyUI打造的全能推理优化方案,旨在实现通用、灵活且快速的推理加速。它支持多种推理场景,并且通过灵活的配置选项来满足不同用户的需求。该项目的设计目标是提升推理性能,并且能够轻松集成到现有的ComfyUI项目中。
使用任意网页浏览器作为GUI,以Python作为后端,HTML5作为前端的轻量级Python包,实现跨平台和多浏览器的Web界面开发。它允许开发者通过简单的配置和代码,快速创建出功能丰富的Web应用,并支持与Python后端逻辑的无缝对接。
siliconflow提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型