AI-magic AI-magic

模型执行成功率

ToolBench开源项目 – 评估开源语言模型的工具
ToolBench开源项目 – 评估开源语言模型的工具

一个基准测试工具，用于研究和评估开源大型语言模型在软件工具操作方面的能力，提供了多样化的软件工具和易于使用的基础设施，可以直接评估每个模型的执行成功率。
Inspect开源项目 – 大型语言模型评估框架
Inspect开源项目 – 大型语言模型评估框架

Inspect是一个用于评估大型语言模型性能的框架，提供多种评估指标与方法，支持不同类型的模型，易于与现有机器学习工作流集成，同时支持可视化和结果分析。
awesome-mobile-agents开源项目 – 智能代理资源集合
awesome-mobile-agents开源项目 – 智能代理资源集合

一个全面的移动端和PC端智能代理相关资源集合，包含最新论文、数据集和基准测试。收录了各类移动端智能代理系统的训练方法、输入类型、模型架构等详细对比，以及主流数据集的详细信息统计。
Moonshot开源项目 – 评估大型语言模型的工具
Moonshot开源项目 – 评估大型语言模型的工具

一款用于评估和红队任何大型语言模型（LLM）应用的简单且模块化工具，由AI验证基金会开发，集成了基准测试和红队测试，帮助AI开发者、合规团队和AI系统所有者评估LLMs和LLM应用。
tinyllm开源项目 – 轻量框架，支持大规模语言模型
tinyllm开源项目 – 轻量框架，支持大规模语言模型

一个轻量框架，用于开发、调试和监控大规模大语言模型(LLM)和Agent驱动的应用。它提供了易用的工具，帮助开发者快速构建和优化语言模型应用。
LLM4SE开源项目 – 为软件工程提供大型语言模型支持
LLM4SE开源项目 – 为软件工程提供大型语言模型支持

LLM4SE是一个专为软件工程设计的大型语言模型，能够理解和生成多种编程语言的代码，自动化代码审查与重构，智能化错误检测与调试，并能自动生成项目文档。同时，LLM4SE可以与多种开发工具和环境集成，提升开发效率。
Tonic Validate Metrics开源项目 – 开源 RAG 评估指标包
Tonic Validate Metrics开源项目 – 开源 RAG 评估指标包

Tonic Validate Metrics 是一个开源的评估指标包，旨在为生成模型的输出提供多种评估指标，支持模型性能对比，易于集成到机器学习工作流，并兼容多种数据格式和输入类型。
Large Language Models as Tool Makers开源项目 – 探索大型语言模型作为工具的应用
Large Language Models as Tool Makers开源项目 – 探索大型语言模型作为工具的应用

该项目探讨了如何将大型语言模型用于各种应用中的工具创建。
Math-Verify开源项目 – 评估数学表达式的强大系统
Math-Verify开源项目 – 评估数学表达式的强大系统

Math-Verify是一个强大的数学表达式评估系统，专为评估大型语言模型在数学任务中的输出而设计。它能更准确地评估模型的表现，避免因格式或解析问题导致的误判。
Monica图标

通过siliconflow免费使用满血可联网DeepSeek R1

现在注册，立即送2000万tokens

siliconflow提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3