本项目探讨了一种名为‘模型融合(blending)’的方法,通过整合多个较小的对话人工智能模型,以实现与单一大模型相媲美或更优的性能,避免计算需求激增,适用于中等规模模型的协同融合。
一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练和融合、量化。