LLMLingua是微软开发的提示压缩工具,利用经过良好训练的小型语言模型进行对齐,旨在实现提示的高效压缩和性能优化,最大程度上保持输出的质量和一致性。
LLMLingua的特点:
1. 高达20倍的提示压缩
2. 几乎不损失性能
3. 使用训练良好的小型语言模型,如GPT2-small或LLaMA-7B
4. 检测提示中的无关紧要的标记
LLMLingua的功能:
1. 将长文本输入LLMLingua进行压缩,以满足令牌限制
2. 优化与ChatGPT的对话,保持个性的一致性
3. 使用压缩后的提示进行API调用,以降低成本
相关推荐
暂无评论...