Punica 是一个工具,旨在将多个经过 LoRA 微调的语言模型整合在一起,简化管理和调用,提供灵活的模型组合和优化的性能响应。
Punica的特点:
1. 支持多个 LoRA 微调模型
2. 简化大语言模型的管理和调用
3. 灵活的模型组合和切换
4. 优化的性能和响应时间
Punica的功能:
1. 使用 Punica API 调用不同的微调模型
2. 通过配置文件定义模型组合
3. 在应用程序中集成多种功能
4. 进行快速的模型微调和评估
相关推荐
CodeShell-最强代码大模型,提升开发效率
CodeShell 是由北京大学软件工程国家工程研究中心与四川天府银行 AI 实验室联合开源的 70 亿参数的代码大模型,号称同等规模最强代码基座。它基于 5000 亿 Tokens 进行了冷启动训练,具备 8192 的上下文窗口长度,融合了 StarCoder 和 Llama 的核心特性,支持中英文和代码的平衡且高效的编解码,并在 HumanEval 和 MBPP 代码评估基准中表现优异。该模型还支持 Flash Attention2 加速,训练吞吐量高达每 GPU 每秒 3400 Token,同时提供 IDE 插件,兼容 VSCode 和 IntelliJ IDEA。
暂无评论...