xCodeEval是一个大规模多语言多任务基准,用于评估代码理解、生成、翻译和检索的能力,旨在为研究和开发提供支持。
Boogie是一个平台,允许用户使用大型语言模型(如GPT-4)测试、部署和管理自然语言处理应用程序,帮助开发者高效构建强大的NLP应用。
Densely Captioned Images (DCI) 数据集旨在为图像提供详细的描述,以捕捉视觉细节,适用于计算机视觉领域的多种任务。
katakomba是一个专为NetHack游戏设计的数据驱动的基准测试工具,提供超过30个标准化数据集,并支持多种基于循环的离线强化学习基线模型,旨在促进研究和开发中的基准测试。
一个包含1,645个具有不同种类歧义的数据集及对应的评估方法的项目。
Superpowered AI 是一款端到端的知识检索解决方案,旨在简化构建生产就绪的 LLM 应用程序,同时提供对外部知识的访问。该平台提供知识库即服务,赋予用户强大的人工智能能力。
LLaMa2Lang是一个用于微调LLaMa2-7b模型的工具,旨在提升其在非英语语言中的对话能力。由于LLaMa2模型主要基于英语数据进行训练,因此在其他语言上的表现较差。本项目旨在改善这一问题,使LLaMa2能够更好地处理各种语言的对话需求。
LLMSurvey是一个提供LLaMA模型族进化图的项目,用户可以通过该工具查看不同版本模型的性能,比较多种模型参数,并获取相关的训练和评估数据。
Acquire AI是一个AI市场和平台,用户可以发现、购买、构建和出售创新且可扩展的AI项目。它为AI爱好者、开发者和企业提供了一个全面的生态系统,以便探索、获取和协作AI项目。
Reasoning Gym是一个用于训练推理模型的Python库,能够生成无限多的推理任务,旨在通过强化学习提升模型的逻辑和算法推理能力。该项目支持多种推理数据集,易于集成和扩展,以满足研究和开发的需求。
一个通过模拟面试过程来评估大型语言模型(LLMs)能力的框架,让一个LLM扮演面试官的角色,通过提供反馈和追问问题来全面评估其他LLMs的能力。
ComplexFuncBench是一个专为复杂函数调用设计的基准测试工具,旨在解决复杂场景下的函数调用评估难题,帮助开发者优化模型性能。
该项目旨在探索LLM评估与人工标注之间的相关性,以期能够实现廉价评估与与人工评估结果的高相关性。通过分析不同的LLM评估基准,该项目提供了有效的评估方法,并支持多种LLM模型的评估。
C-Eval是一个中文基础模型评估套件,包含13948个多项选择题,涵盖52个不同学科,分为四个难度级别。该项目由上海交通大学和清华大学合作开发,主页链接可以在GitHub上找到。