Aviary允许在一个地方与各种大型语言模型(LLM)进行交互。用户可以直接比较不同模型的输出,按质量进行排名,并获得成本和延迟估计等功能。它特别支持在Hugging Face上托管的Transformer模型,并在许多情况下还支持DeepSpeed推理加速。
Aviary的特点:
1. 直接比较不同模型的输出
2. 按质量进行排名
3. 获得成本和延迟估计
4. 支持Hugging Face上的Transformer模型
5. 支持DeepSpeed推理加速
Aviary的功能:
1. 使用Aviary比较不同LLM的输出
2. 评估多个模型的性能
3. 获取模型预测的成本和延迟信息
4. 集成Hugging Face模型进行实验
相关推荐
暂无评论...