数据集概述
本数据集包含GPT-3.5、GPT-4o和o1preview三个ChatGPT模型在经济学教育场景下的输出及评估结果,聚焦56个基础经济概念解释、25道选择题解答及解析两大核心应用,旨在分析大语言模型作为大学经济学自动化辅导工具的教学潜力与局限性。
文件详解
- ChatGPT_as_Economics_Tutor_AnalysisScript.R
- 文件格式:R
- 字段映射介绍:用于评估模型响应及执行统计分析的脚本文件,包含响应评估逻辑、统计分析方法等代码内容
- ChatGPT_as_Economics_Tutor_Data.xlsx
- 文件格式:XLSX
- 字段映射介绍:整合了三个模型的输出内容(经济概念解释、选择题答案及解析)、基于评分表的评估结果(准确性、范围、错误类型等指标)
数据来源
论文“ChatGPT as Economics Tutor: Capabilities and Limitations”(Brose, Natalie等,布里斯托大学经济学院,2025)
适用场景
- 教育AI工具评估:分析大语言模型作为经济学自动化辅导工具的教学效果与局限性
- 经济学教育内容研究:对比不同模型对基础及进阶经济概念的解释能力
- 教育技术应用研究:探索大语言模型在高等教育场景中的 pedagogical 潜力
- 自然语言处理模型评估:研究大语言模型在专业学科知识输出与交互中的表现
- 教育数据统计分析:基于评估脚本与数据,复现或拓展模型教学效果的统计分析