数据集概述
本数据集是论文《Evaluating Large Language Models in Summarizing Developer Chat Conversations: A Linguistic Perspective》的复现包，包含开发者聊天对话的人工优质摘要（黄金集）、LLM生成摘要，以及两者的语言学分析结果，同时提供语言学分析的Python脚本，共4个文件，支持对LLM对话摘要能力的复现评估。
文件详解
- 黄金集数据文件
- 文件名称：GoldenSet.xlsx
- 文件格式：XLSX
- 字段映射介绍：包含各开发者聊天对话对应的参与者最佳人工摘要（黄金集）及LLM生成摘要
- 人工摘要语言学分析文件
- 文件名称：LinguisticAnalysis_HumanGenerated.xlsx
- 文件格式：XLSX
- 字段映射介绍：包含人工优质摘要（黄金集）的语言学分析结果，如词性标签、实体等
- LLM生成摘要语言学分析文件
- 文件名称：LinguisticAnalysis_LLMGenerated.xlsx
- 文件格式：XLSX
- 字段映射介绍：包含LLM生成摘要的语言学分析结果，如词性标签、实体等
- 语言学分析代码文件
- 文件名称：POS_TAGGING_AND_TEXT_ANALYSIS_Abstractive_Summaries.ipynb
- 文件格式：IPYNB
- 字段映射介绍：用于运行语言学分析的Python脚本（Jupyter Notebook格式）
数据来源
论文《Evaluating Large Language Models in Summarizing Developer Chat Conversations: A Linguistic Perspective》的复现包
适用场景
- LLM对话摘要能力评估: 对比人工黄金集与LLM生成摘要，评估LLM在开发者聊天对话场景下的摘要质量
- 摘要语言学特征研究: 分析人工与LLM摘要的词性、实体等语言学特征差异
- 自然语言处理模型优化: 基于语言学分析结果，优化LLM对话摘要的生成策略
- 论文研究复现: 支持对原论文中LLM摘要评估实验的完整复现与验证
