EvalScope 是一个一站式大模型评估与性能基准测试框架,旨在让模型评估变得高效且个性化。它支持多种模型类型,包括大语言模型、多模态模型和嵌入模型,并提供多种评估场景,如端到端RAG评估、竞技场模式和推理性能测试。此外,EvalScope 内置了丰富的基准测试和指标,如MMLU、CMMLU和GSM8K,帮助用户全面评估模型性能。
Omni OCR Benchmark是一个强大的OCR基准测试工具,旨在帮助用户快速评估不同多模态模型的OCR和数据提取能力。通过提供详细的JSON准确率和文本相似度评估,用户可以轻松找到最适合其需求的模型。该项目支持多种主流模型,如gpt-4o和Gemini,并且开源数据集,允许用户自由扩展和定制。