数据集概述
本数据集包含OpenAI GPT-3.5生成的60个Python小程序（对应6个入门编程任务，每个任务10个功能正确的变体）、399个针对这些程序的理解问题、GPT-3.5和GPT-4对问题的798个回答，以及研究人员对回答正确性的标注和错误类型编码，同时包含数据处理与分析脚本。
文件详解
- 文件名称：letsaskaiabouttheirprograms.zip
- 文件格式：ZIP
- 字段映射介绍：压缩包内包含以下核心内容：
- AI生成的Python程序文件：60个功能正确的小程序，对应6个公开入门编程任务的变体
- 程序理解问题集：399个针对生成程序的理解类问题
- AI回答数据集：GPT-3.5和GPT-4对问题的798个回答
- 标注数据文件：研究人员对每个回答正确性的标注及错误类型编码
- 数据处理脚本：用于数据处理与分析的相关代码文件
适用场景
- AI程序理解能力评估：分析GPT-3.5和GPT-4对自身生成程序的理解程度与回答准确性
- 编程教育问题设计研究：基于399个程序理解问题，探索有效评估编程能力的问题设计方法
- 代码错误类型分析：利用标注的错误类型数据，研究AI在程序理解中的常见错误模式
- 大语言模型编程能力研究：对比不同模型（GPT-3.5与GPT-4）在程序相关任务中的表现差异
- 编程教育资源开发：基于生成的Python程序和理解问题，开发编程学习评估工具
