数据集概述
本数据集包含不同大语言模型（LLMs）对SVAMP数据集数学应用题的求解输出，以及CodeLlama模型未能正确解决的问题标记语句。数据集共包含两个文件，可用于分析大语言模型在数学应用题求解中的挑战与不足。
文件详解
- all_data.json
- 文件格式：JSON
- 字段映射介绍：包含大语言模型针对SVAMP数据集生成的数学应用题求解样本数据
- df_combined.pkl
- 文件格式：PKL
- 字段映射介绍：包含CodeLlama模型未能正确解决的SVAMP数据集数学应用题标记语句数据
数据来源
论文“Beyond the Hype: Identifying and Analyzing Math Word Problem-Solving Challenges for Large Language Models”
适用场景
- 大语言模型能力评估: 分析不同LLM在数学应用题求解任务中的性能表现与差异
- 模型错误模式研究: 探究CodeLlama等模型在数学应用题求解中的常见错误类型与原因
- 数学推理任务优化: 基于模型错误数据改进LLM的数学推理能力与问题理解能力
- 教育AI应用开发: 为智能教育系统中数学问题自动求解功能的设计提供参考依据
