一个用于增强LLM推理能力的Python库,提供可组合的推理算法框架。支持自定义评分函数的采样和重排序模式,内置蒙特卡洛树搜索等高级算法,通过vLLM保持高性能,特别适合研究人员快速实验和迭代新想法。
Decoding的特点:
1. 可组合的推理算法
2. 支持自定义评分函数的采样和重排序
3. 内置蒙特卡洛树搜索
4. 高性能支持,通过vLLM
5. 适合研究人员快速实验和迭代
Decoding的功能:
1. 使用可组合的推理算法进行模型推理
2. 实现自定义评分函数以优化结果
3. 利用蒙特卡洛树搜索进行复杂决策
4. 进行快速实验以验证新想法
相关推荐
暂无评论...