数据集概述
本数据集是论文《Beyond the Leaderboard: Examining Benchmark Quality in Code Generation》的Zenodo补充材料,包含研究中使用的脚本、基准测试集、分析结果及相关补充资料,可通过指定链接获取更友好的界面说明。
文件详解
- 文件名称:scripts.zip
- 文件格式:ZIP
- 字段映射介绍:包含研究中使用的脚本文件,具体内容可参考README文件(位于指定链接或脚本目录内)
- 文件名称:benchmarks+.zip
- 文件格式:ZIP
- 字段映射介绍:包含研究中涉及的基准测试集文件
- 文件名称:results.zip
- 文件格式:ZIP
- 字段映射介绍:包含研究的分析结果文件
数据来源
Zenodo repository for the paper "Beyond the Leaderboard: Examining Benchmark Quality in Code Generation"
适用场景
- 代码生成基准质量评估: 用于分析代码生成基准测试集的质量特性与评估标准
- 代码生成研究补充分析: 为代码生成领域的学术研究提供脚本、基准与结果数据支持
- 基准测试集优化研究: 探索代码生成基准测试集的改进方向与质量提升方法
- 代码生成评估方法论研究: 支持对代码生成任务评估体系的科学性与合理性分析