基于Andrej Karpathy的GPT-2实现和训练,添加大量注释以帮助理解模型原理,计划逐步增加更多功能。
HammerLLM是一个具有1.4B参数的语言模型,提供了简洁高效的训练代码库,同时完全开源了模型权重、环境、代码库和超参数,支持中英文的生成和理解,具有高效的训练和推理能力,适合多种自然语言处理任务。