一款专注于推理计算流水线的集成开发环境,让开发者能够更便捷地构建、调试和部署LLM计算图。
PySpur的特点:
1. 支持多种高级规划器(如MCTS、Self-Refinement等)
2. 提供并行/顺序采样的底层原语
3. 内置验证器和评估功能
4. 支持批量推理任务的异步执行和管理
PySpur的功能:
1. 构建推理计算流水线
2. 调试LLM计算图
3. 部署推理任务
4. 执行和管理异步批量推理任务
相关推荐
暂无评论...
一款专注于推理计算流水线的集成开发环境,让开发者能够更便捷地构建、调试和部署LLM计算图。
PySpur的特点:
1. 支持多种高级规划器(如MCTS、Self-Refinement等)
2. 提供并行/顺序采样的底层原语
3. 内置验证器和评估功能
4. 支持批量推理任务的异步执行和管理
PySpur的功能:
1. 构建推理计算流水线
2. 调试LLM计算图
3. 部署推理任务
4. 执行和管理异步批量推理任务