KernelBench社区贡献指南：如何参与项目开发与改进

KernelBench社区贡献指南如何参与项目开发与改进【免费下载链接】KernelBenchKernelBench: Can LLMs Write GPU Kernels? - Benchmark Toolkit with Torch - CUDA ( more DSLs)项目地址: https://gitcode.com/gh_mirrors/ke/KernelBenchKernelBench是一个创新的开源项目专注于评估大语言模型LLM生成GPU内核的能力。这个基准测试工具包通过将PyTorch操作符转换为CUDA内核来测试AI模型的编程能力。无论你是深度学习研究者、GPU编程爱好者还是开源贡献者都可以通过多种方式为这个项目做出贡献为什么参与KernelBench社区贡献参与KernelBench社区贡献不仅能让你深入了解GPU内核编程的最新技术还能帮助你学习前沿技术掌握LLM生成GPU内核的最新方法提升编程技能深入理解CUDA编程和性能优化建立专业网络与全球AI和GPU编程专家合作推动AI发展帮助改进LLM的代码生成能力项目结构概览 在开始贡献之前先了解KernelBench的项目结构KernelBench/ ├── KernelBench/ # 基准测试数据集文件 │ ├── level1/ # 单内核操作符100个问题 │ ├── level2/ # 简单融合模式100个问题 │ ├── level3/ # 完整模型架构50个问题 │ └── level4/ # Hugging Face模型 ├── src/ # KernelBench逻辑代码 │ ├── unit_tests/ # 单元测试 │ ├── prompts/ # 提示模板 │ └── utils.py # 工具函数 ├── scripts/ # 运行基准测试的脚本 ├── results/ # 不同硬件的基准时间 └── runs/ # 运行结果存储目录KernelBench工作流程示意图从PyTorch操作符到CUDA内核的转换过程如何开始贡献1. 环境设置与项目克隆首先克隆项目仓库并设置开发环境git clone https://gitcode.com/gh_mirrors/ke/KernelBench cd KernelBench conda create --name kernel-bench python3.10 conda activate kernel-bench pip install -r requirements.txt pip install -e .2. 理解贡献类型KernelBench社区欢迎多种类型的贡献添加新的基准测试问题在KernelBench/level1/中添加新的单内核操作符在KernelBench/level2/中添加融合模式在KernelBench/level3/中添加完整模型架构每个问题都是一个独立的Python文件包含PyTorch操作符定义。查看KernelBench/level1/100_HingeLoss.py作为参考。改进提示工程在src/prompts/目录中优化提示模板添加few-shot示例到src/prompts/few_shot/改进chain-of-thought提示在src/prompts/cot/增强评估功能改进src/eval.py中的评估逻辑添加新的性能指标优化错误检测机制修复Bug和改进文档报告和修复代码中的问题改进README和文档添加代码注释和示例贡献流程详解 步骤1选择合适的贡献领域根据你的技能和兴趣选择贡献方向贡献类型适合人群所需技能添加新问题深度学习研究者PyTorch, CUDA基础提示工程NLP/LLM研究者提示工程, 大语言模型代码优化系统程序员Python, CUDA, 性能优化文档改进技术写作者Markdown, 技术文档步骤2创建测试用例在贡献之前确保你的代码可以通过现有测试# 运行单元测试 python -m pytest src/unit_tests/ # 测试单个问题生成 python scripts/generate_and_eval_single_sample.py dataset_srclocal level1 problem_id1步骤3编写高质量的代码遵循项目代码规范代码风格使用PEP 8规范类型注解为函数添加类型提示文档字符串为每个函数添加docstring测试覆盖为新功能添加单元测试查看src/dataset.py中的代码作为示例了解项目的最佳实践。步骤4提交Pull Request创建分支git checkout -b feature/your-feature-name提交更改git commit -m 描述你的更改推送分支git push origin feature/your-feature-name创建PR在GitCode上创建Pull Request技术贡献指南 ️添加新的基准测试问题创建一个新的基准测试问题需要遵循特定格式# 示例在KernelBench/level1/目录中创建新文件 import torch def kernel_bench_problem(): 问题描述实现一个特定的GPU内核操作 输入张量A和B 输出操作结果 # 定义输入张量 A torch.randn(1024, 1024, devicecuda) B torch.randn(1024, 1024, devicecuda) # 参考实现 reference_output torch.matmul(A, B) return { inputs: [A, B], reference_output: reference_output, problem_type: matmul }改进提示模板提示模板位于src/prompts/目录。改进提示可以提高LLM生成代码的质量# 在src/prompts/model_ex_0.py中添加改进的提示 def get_improved_prompt(problem_description): 改进的提示模板包含更多上下文和示例 return f 你是一个CUDA编程专家。请将以下PyTorch操作转换为优化的CUDA内核。 问题描述 {problem_description} 要求 1. 实现高效的CUDA内核 2. 考虑内存访问模式 3. 使用适当的线程块和网格大小 4. 包含错误检查 示例代码 __global__ void example_kernel(float* A, float* B, float* C, int N) {{ int idx blockIdx.x * blockDim.x threadIdx.x; if (idx N) {{ C[idx] A[idx] B[idx]; }} }} 现在请实现以下操作 性能优化贡献如果你熟悉CUDA编程可以贡献性能优化内存访问优化改进数据局部性并行策略优化线程块和网格配置内核融合减少内存传输指令级优化使用内联函数和向量化测试与验证流程 ✅本地测试在提交PR之前确保你的更改通过所有测试# 运行完整的测试套件 python scripts/generate_samples.py run_nametest_contribution dataset_srclocal level1 num_workers1 # 评估生成的内核 python scripts/eval_from_generations.py level1 run_nametest_contribution dataset_srclocal验证标准每个贡献需要满足以下标准正确性生成的CUDA内核必须编译成功功能性内核输出必须与参考实现匹配性能内核性能应该合理代码质量遵循项目编码规范社区协作指南 沟通渠道问题讨论使用GitCode的Issue功能代码审查积极参与PR审查知识分享在社区分享经验和技巧行为准则KernelBench社区遵循开放、包容的原则尊重他人保持专业和礼貌的交流建设性反馈提供具体的改进建议帮助新人欢迎并指导新贡献者分享知识积极分享你的专业经验进阶贡献路径 成为核心贡献者通过持续贡献你可以成为核心贡献者解决复杂问题处理具有挑战性的Issue代码审查帮助审查其他贡献者的PR文档维护保持文档的更新和完善社区支持帮助回答社区问题项目路线图参与KernelBench有明确的未来发展路线集成更多框架如ThunderKittens添加反向传播支持集成性能分析工具如NCU扩展基准测试范围你可以通过贡献代码、提出建议或参与讨论来影响项目发展方向。常见问题解答 ❓Q: 我需要多少CUDA经验才能贡献A: 基础贡献如文档、测试不需要CUDA经验。高级贡献如内核优化需要CUDA编程知识。Q: 如何开始我的第一个贡献A: 从简单的任务开始如修复文档错误、添加测试用例或报告Bug。Q: 贡献会被认可吗A: 是的所有贡献者都会被列在项目的贡献者列表中优秀的贡献者可能成为核心维护者。Q: 有导师计划吗A: 社区鼓励经验丰富的贡献者指导新人。在Issue或讨论区提出你的问题。立即开始贡献KernelBench是一个快速发展的项目你的贡献将对AI代码生成领域产生实际影响。无论你是想学习GPU编程、改进LLM能力还是只是想为开源社区做贡献这里都有适合你的机会。记住每一个贡献都很重要——从修复一个错别字到实现一个复杂的内核优化。立即加入我们的社区一起推动AI编程能力的发展准备好了吗选择一个你感兴趣的Issue或者创建一个新的功能建议开始你的KernelBench贡献之旅吧【免费下载链接】KernelBenchKernelBench: Can LLMs Write GPU Kernels? - Benchmark Toolkit with Torch - CUDA ( more DSLs)项目地址: https://gitcode.com/gh_mirrors/ke/KernelBench创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考