DevOps-Eval是一个专门为DevOps领域大模型设计的综合评估数据集，提供了工业优先的评估基准和专用的数据集，以支持多种评估方法，适用于大规模语言模型的性能测试。

Webo.AI是一个基于云的测试平台，为软件公司提供测试即服务（TaaS）。它提供多种功能，包括基于AI的自动化测试用例生成、测试套件执行和通过AiHealing进行的测试维护。该平台还包括智能集中仪表板、详细报告和全面的分析，能够对缺陷进行可操作的分级处理。

QualityX aiTest是一个统一的发布质量保证平台，旨在帮助QA团队更快地发布生产级应用。它的AI助手能够自动生成测试用例和自动化代码，支持网页应用、API、云服务、机器学习和大型语言模型的测试，并且无需编写代码。该工具支持跨浏览器测试，适用于Android和iOS等多种操作系统，是由测试人员为测试人员构建的，希望用户能够愉快地使用它。

Diarizers是一个用于微调pyannote说话人辨识模型的库，利用Hugging Face生态系统，提供了便捷的模型训练和评估功能。

LLM-Dojo是一个开源大模型学习场，提供简洁易读的代码框架，支持多种主流模型的训练和强化学习技术，旨在帮助AI爱好者和研究者进行深入的研究和开发。

这是我在伯克利带的本科生Peter Tong去New York University师从Xie Saining和Yann LeCun后对目前所有主要大模型进行系统研究测试的最新工作。

Virtuoso QA 是一个结合自然语言编程（NLP）和机器人流程自动化（RPA）的QA自动化测试工具。它利用人工智能和机器学习的能力，提供自愈和可扩展的解决方案，以实现更快的部署。用户可以用自然语言编写测试，类似于手动测试脚本，并在任何设备、操作系统或软件上执行这些测试。该工具提供全面的报告和根本原因分析，以了解应用程序的状态，同时提供自愈测试功能，以减少测试维护工作。Virtuoso QA可以与各种系统集成，并提供扩展以供定制。

收集和梳理垂直领域的开源大语言模型、数据集及评测基准，为用户提供全面的资源和支持，便于在各个专业领域内应用和研究。

ODRL是一个针对非动态强化学习的基准测试平台，旨在评估强化学习算法在不同环境下的表现。通过建立标准测试环境，研究人员可以有效地比较和分析不同的强化学习算法的性能。

这篇论文研究了让大模型代理玩“Donor Game”捐赠博弈的情况，探讨了在面临背叛的激励时，LLM代理的“社会”是否能够学习互惠互利的社会规范。