数据集概述
本数据集包含针对退税申请场景的解释质量感知（保真度与互操作性）调查相关文件，涵盖用户调查数据、实验设计文档、大语言模型（LLM）生成内容及评估材料，为研究退税场景下解释质量的感知与评估提供多维度数据支持。
文件详解
- 调查数据文件：
- data-survey.csv：CSV格式调查数据集，含128名用户对2个查询案例的评分
- data-survey.xlsx：Excel格式调查数据集
- data-survey-spss.sav：SPSS格式调查数据集
- survey-forms.eus：ECSurvey系统适配的.eus格式调查数据集
- 调查表单文件：
- survey-forms-g1.pdf至survey-forms-g6.pdf：共6份调查表单文件
- 实验设计与说明文件：
- groups assignments.docx：6种查询编号与LLM类型实验组合的说明文档
- LLM相关文件：
- Prompts.docx：3个查询案例对应的所有LLM提示词
- Generated-explanations.docx：LLM生成的所有解释版本
- LLM-as-a-judge-prompt.docx：用于获取LLM对解释评分的提示词
- 综合评估数据文件：
- gpt4o_llama_final_responses_stats.xlsx：含LLM与人类评分的响应数据文件
适用场景
- 自然语言处理研究：分析LLM生成解释在特定场景下的质量表现
- 用户体验评估：探究用户对退税申请场景中解释内容的感知与偏好
- 实验设计分析：研究不同LLM类型与查询组合对解释质量的影响
- 人机评估对比：比较人类与LLM对解释质量评分的差异与一致性
