该项目研究了prompt在不同下游任务和不同类型、规模的预训练语言模型之间的迁移性,探索其在零样本设定下的有效性、对其他模型的适用性以及对训练速度的提升,并分析了影响迁移性的因素。
Prompt-Transferability的特点:
1. 在零样本设定下,训练过的prompt可以有效地迁移到类似任务上。
2. 训练过的prompt可以迁移到其他不同的预训练语言模型上完成类似任务。
3. 训练过的prompt可以作为相似任务的初始化,提高PT的训练速度。
4. 研究了影响迁移性的因素,发现prompt所激活神经元的重叠率与迁移性存在较强相关性。
Prompt-Transferability的功能:
1. 使用训练过的prompt在新的下游任务上进行零样本推理。
2. 将训练的prompt作为初始化,快速提升相似任务的训练效率。
3. 分析prompt激活的神经元重叠率,以评估不同prompt的迁移能力。
相关推荐
暂无评论...