AI开源项目

ChatLM-mini-Chinese-中文对话的小型生成模型

ChatLM-mini-Chinese是一个中文对话0.2B小模型,旨在整理生成式语言模型的训练流程,包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。

ChatLM-mini-Chinese是一个中文对话0.2B小模型,旨在整理生成式语言模型的训练流程,包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。
ChatLM-mini-Chinese的特点:
1. 模型参数仅为0.2B,适合消费级电脑使用
2. 支持在最低4GB显存的机器进行预训练
3. float16加载、推理最少仅需512MB显存
4. 包括数据清洗、tokenizer训练等完整的训练流程

ChatLM-mini-Chinese的功能:
1. 在消费级电脑上进行中文对话生成
2. 进行模型预训练和微调
3. 使用小型模型进行快速推理和测试

相关推荐

暂无评论

暂无评论...