用Go语言编写的云原生AI网关,作为OpenAI的代理服务,可以创建具有速率限制、费用限制和生存时间限制的API密钥,实现细粒度的访问控制,支持多个大型语言模型,并简化LLM(Large Language Model)的运维操作。
BricksLLM的特点:
1. 速率限制
2. 费用限制
3. 生存时间限制
4. 细粒度的访问控制
5. 支持多个大型语言模型
6. 简化LLM的运维操作
BricksLLM的功能:
1. 创建API密钥并设置速率限制
2. 配置费用限制以控制使用成本
3. 管理多个大型语言模型的访问
4. 监控API调用的生存时间
5. 运维大型语言模型的操作
相关推荐
暂无评论...