AI开源项目

Chinese Mixtral-中文混合专家大模型

中文Mixtral混合专家大模型,基于Mistral.ai发布的Mixtral模型,经过中文增量训练和指令精调,支持长文本处理与多种应用框架。

中文Mixtral混合专家大模型,基于Mistral.ai发布的Mixtral模型,经过中文增量训练和指令精调,支持长文本处理与多种应用框架。
Chinese Mixtral的特点:
1. 支持32K上下文,实测可达128K
2. 在数学推理和代码生成方面表现出显著性能提升
3. 开源中文Mixtral基础模型和指令模型
4. 提供预训练和指令精调脚本,支持进一步训练和微调
5. 支持多种生态系统,包括🤗transformers, llama.cpp等

Chinese Mixtral的功能:
1. 在本地使用CPU/GPU进行模型量化和部署
2. 通过指令精调进一步提升模型性能
3. 在长文本处理任务中应用模型
4. 与LangChain和privateGPT集成使用
5. 进行数学推理和代码生成任务

相关推荐

暂无评论

暂无评论...