ColossalChat 是一个基于 LLaMA 和 ColossalAI 的开源应用,它使用了不到 10B 个参数,并且通过 RLHF 微调可以达到中英文双语能力。具体应用在 Chat 上,有在线体验,可以在 chat.colossalai.org 上进行。
TinyGPT是一个开源项目,使用C++11从头开始实现的微型GPT-2推理实现。它基于picoGPT项目,旨在开发一个小型的GPT-2推理实现。