系统评价标题摘要筛选大语言模型评估数据集

数据集概述

该数据集是用于评估大语言模型（LLMs）在系统评价标题-摘要筛选任务中表现的专用数据集（SESR-Eval），包含实验数据、LLM结果及相关文档，支持复现研究与基准测试。

文件详解

该数据集以压缩包形式组织，内部包含以下核心目录： - 数据目录（data）：包含复制包选择、信度协议、处理后数据、LLM结果及SESR-Eval数据集，部分大文件需通过链接下载 - 文档目录（documentation）：研究相关的各类说明文档 - 实验目录（experiments）：LLM实验的源代码文件

数据来源

Scopus API

适用场景

• 大语言模型性能评估：测试不同LLM在系统评价文献筛选任务中的准确性与效率
• 自然语言处理研究：探索文本分类、信息检索算法在学术文献筛选场景的应用
• 开放科学实践：支持研究复现与基准测试，推动系统评价自动化工具的优化
• 学术文献管理：为开发智能文献筛选系统提供标注数据与实验框架