数据集概述
本数据集为CoderEval代码生成基准数据集，包含四十二个文件，无目录结构。核心内容为用于评估生成式预训练模型代码生成性能的基准数据，涵盖JSON格式结果文件、JSONL格式原始/处理数据、Python脚本、说明文档及压缩包，支持超越独立函数的实用代码生成能力评估。
文件详解
- 数据文件（.json）
- 文件名称：CoderEval4Python.json、results-0-10.json等（共25个）
- 文件格式：JSON
- 字段映射介绍：包含代码生成任务的输入数据、模型生成结果及评估结果等结构化信息
- 数据文件（.jsonl）
- 文件名称：generated_results.jsonl、Raw_Input.jsonl_out.jsonl等（共13个）
- 文件格式：JSONL
- 字段映射介绍：包含原始输入数据、人工标注数据、模型生成结果等按行存储的半结构化数据
- 代码文件（.py）
- 文件名称：convertdata.py、run_gpt_generation.py
- 文件格式：Python脚本
- 字段映射介绍：数据转换脚本与模型生成运行脚本，用于数据集处理与模型评估流程
- 文档文件（.md）
- 文件名称：README.md
- 文件格式：Markdown
- 字段映射介绍：CoderEval基准的说明文档，包含数据集背景、使用方法等信息
- 压缩包文件（.zip）
- 文件名称：CoderEval-Input4Models.zip
- 文件格式：ZIP
- 字段映射介绍：模型输入数据的压缩包，包含用于模型评估的输入文件
适用场景
- 代码生成模型性能评估: 用于评估生成式预训练模型在实用代码生成任务中的表现
- 自然语言处理技术研究: 支持代码生成领域的技术研究与模型优化
- 基准数据集对比分析: 与HumanEval等基准数据集对比，分析模型在不同代码生成场景下的能力差异
- 代码生成任务流程优化: 基于Python脚本与数据文件，优化代码生成任务的数据处理与评估流程
