该项目演示了如何利用大模型进行蒸馏来构建小模型,从而在某些领域实现比大型模型更强的推理效果。
reasoning-teacher的特点:
1. 使用大模型作为推理教师,提供详尽的解答思路
2. 模型蒸馏技术,能将模型大小降低至原来的 1/500~1/25
3. 保持同样的推理能力,甚至超越大模型
4. 适用于降低特定场景的成本
5. 可在端侧(移动设备或嵌入式系统)直接部署蒸馏小模型
reasoning-teacher的功能:
1. 针对特定数据集进行模型蒸馏
2. 使用蒸馏小模型替代直接调用 ChatGPT
3. 在用户本地完成推理,降低服务成本
相关推荐
暂无评论...