AI开源项目

openai_trtllm-OpenAI兼容的TensorRT LLM API

OpenAI兼容的API,用于TensorRT LLM triton backend,提供了与langchain集成的功能,支持高效推理和灵活后端配置。

OpenAI兼容的API,用于TensorRT LLM triton backend,提供了与langchain集成的功能,支持高效推理和灵活后端配置。
openai_trtllm的特点:
1. 兼容OpenAI API
2. 支持TensorRT优化的LLM
3. 与langchain集成
4. 高效的推理性能
5. 灵活的后端支持

openai_trtllm的功能:
1. 通过HTTP请求调用API
2. 与TensorRT模型进行集成
3. 在langchain框架中使用
4. 实现自定义推理任务
5. 进行大规模模型推理

相关推荐

暂无评论

暂无评论...