AI开源项目

Aviary-与多种LLM互动的平台

Aviary允许在一个地方与各种大型语言模型(LLM)进行交互。用户可以直接比较不同模型的输出,按质量进行排名,并获得成本和延迟估计等功能。它特别支持在Hugging Face上托管的Transf...

Aviary允许在一个地方与各种大型语言模型(LLM)进行交互。用户可以直接比较不同模型的输出,按质量进行排名,并获得成本和延迟估计等功能。它特别支持在Hugging Face上托管的Transformer模型,并在许多情况下还支持DeepSpeed推理加速。
Aviary的特点:
1. 直接比较不同模型的输出
2. 按质量进行排名
3. 获得成本和延迟估计
4. 支持Hugging Face上的Transformer模型
5. 支持DeepSpeed推理加速

Aviary的功能:
1. 使用Aviary比较不同LLM的输出
2. 评估多个模型的性能
3. 获取模型预测的成本和延迟信息
4. 集成Hugging Face模型进行实验

相关推荐

暂无评论

暂无评论...