AI开源项目

PySpur-便捷构建与部署LLM计算图

一款专注于推理计算流水线的集成开发环境,让开发者能够更便捷地构建、调试和部署LLM计算图。

一款专注于推理计算流水线的集成开发环境,让开发者能够更便捷地构建、调试和部署LLM计算图。
PySpur的特点:
1. 支持多种高级规划器(如MCTS、Self-Refinement等)
2. 提供并行/顺序采样的底层原语
3. 内置验证器和评估功能
4. 支持批量推理任务的异步执行和管理

PySpur的功能:
1. 构建推理计算流水线
2. 调试LLM计算图
3. 部署推理任务
4. 执行和管理异步批量推理任务

相关推荐

暂无评论

暂无评论...