MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。经过多种优化与量化,MiniCPM 在多个评测集上表现优秀,适用于移动设备和多模态应用。
MiniCPM的特点:
1. 经过 SFT 后,整体性能超越 Llama2-13B等多种大模型。
2. 在 MTBench 评测集上超越 Llama2-70B-Chat等开源大模型。
3. MiniCPM-V 实现同规模模型中的最佳性能。
4. 经过 Int4 量化后,可在手机上流式推理,速度快于人类说话。
5. 支持高效参数微调和全参数微调,开发成本低。
MiniCPM的功能:
1. 在手机上部署 MiniCPM 进行推理和应用。
2. 利用 1080/2080 显卡进行高效参数微调,3090/4090 进行全参数微调。
3. 构建基于 MiniCPM 的多模态应用,使用 MiniCPM-V 进行更复杂的任务。
相关推荐
暂无评论...