KernelBench是用于评估大语言模型(LLM)编写GPU内核能力的基准测试工具。它提供四个级别的测试类别,包括单内核运算符、简单融合模式、完整模型架构和HuggingFace模型优化。该工具可以测试LLM将PyTorch算子转译为CUDA内核的能力,并评估生成代码的编译、正确性和性能。
KernelBench的特点:
1. 支持四个级别的测试类别
2. 评估LLM生成GPU内核的能力
3. 测试PyTorch算子转译为CUDA内核的能力
4. 评估生成代码的编译、正确性和性能
KernelBench的功能:
1. 运行基准测试以评估LLM的GPU内核生成能力
2. 测试不同级别的模型架构
3. 优化HuggingFace模型并评估其性能
相关推荐
暂无评论...