数据集概述
本数据集围绕ChatGPT作为编程辅助工具的能力评估构建，包含三类模型响应数据：一是ChatGPT、Codex、CodeGen在LeetCode基准测试的代码生成结果；二是ChatGPT与Codex针对代码修复和解释的响应；三是ChatGPT_D与Codex_D的代码修复和解释响应。数据集以压缩包形式存储，共3个文件。
文件详解
- 文件名称：code_generation_dataset.zip
- 文件格式：ZIP
- 字段映射介绍：包含LeetCode基准测试数据，以及ChatGPT、Codex、CodeGen三种模型针对该基准的代码生成响应结果。
- 文件名称：data_new.zip
- 文件格式：ZIP
- 字段映射介绍：包含ChatGPT和Codex两种模型生成的代码修复响应与代码解释响应数据。
- 文件名称：data_des_new.zip
- 文件格式：ZIP
- 字段映射介绍：包含ChatGPT_D和Codex_D两种模型生成的代码修复响应与代码解释响应数据。
适用场景
- 编程辅助模型性能评估: 对比ChatGPT、Codex、CodeGen等模型在LeetCode基准测试中的代码生成能力。
- 代码修复与解释能力研究: 分析ChatGPT系列模型与Codex系列模型在代码修复、代码解释任务上的效果差异。
- 大语言模型编程能力优化: 基于模型响应数据，为编程辅助类大语言模型的算法迭代提供数据支持。
- 人工智能编程工具应用场景探索: 探究大语言模型在实际编程辅助场景中的适用边界与提升方向。
