CAME(Confidence-guided Adaptive Memory Optimization)是一个旨在通过信心引导机制来优化模型内存使用的项目,提升大语言模型的性能。
EasyContext 是一个用于内存优化和训练配方的项目,旨在将语言模型的上下文长度扩展到100万令牌,同时对硬件要求最小化。该项目提供了多种方法来提升模型性能,并兼容现有技术的实现,帮助开发者在资源有限的情况下有效地进行模型训练。