AI开源项目

GPUStack-开源GPU集群管理器

GPUStack是一个开源的GPU集群管理器,专为运行大型语言模型(LLM)设计,支持多种硬件平台,提供轻量级的Python包和OpenAI兼容API,旨在简化用户和API密钥管理,并实时监控GPU性能和...

GPUStack是一个开源的GPU集群管理器,专为运行大型语言模型(LLM)设计,支持多种硬件平台,提供轻量级的Python包和OpenAI兼容API,旨在简化用户和API密钥管理,并实时监控GPU性能和利用率。
GPUStack的特点:
1. 支持多种硬件平台
2. 提供轻量Python包
3. OpenAI兼容API
4. 简化用户和API密钥管理
5. 实时监控GPU性能和利用率

GPUStack的功能:
1. 通过Python包管理GPU集群
2. 使用OpenAI兼容API运行大型语言模型
3. 监控GPU性能和利用率
4. 简化API密钥的管理与使用

相关推荐

暂无评论

暂无评论...