数据集概述
本数据集为研究论文配套的公开资源，包含自动化摘要分类与信息提取多模型框架的相关数据与代码。核心内容围绕摘要干预分类、参与者数量提取两大任务展开，提供LLM推理结果、分析代码及评估标准数据，支持论文研究结果的复现与扩展。
文件详解
该数据集以ZIP压缩包形式存储，包含以下核心目录和文件：
- 主目录文件：
- llm_majority_public.zip：ZIP格式压缩包，包含所有研究相关的数据与代码文件
- LLM_inference目录：
- abstract.csv：摘要列表CSV文件，初始含一千零八十条摘要，最终分析使用一千零二十条
- model_list.csv：LLM模型列表CSV文件，记录研究中使用的模型信息
- abstract_classification文件夹：干预分类任务相关文件，含Python推理脚本、HPC运行bash脚本、prompt提示词文件及results结果目录（含各模型CSV结果与日志）
- participant_numbers文件夹：参与者数量提取任务相关文件，结构同分类任务文件夹
- gold.csv：评估标准CSV文件，含一千零二十条摘要的人工金标准、铂标准及复核标记（platine_check字段）
- R_analysis目录：
- analysis.R：R代码文件，用于读取LLM推理结果并计算模型组合准确率，输出结果至results目录
- figure_tables.R：R代码文件，基于分析结果生成论文图表与表格，输出至figures_tables目录
- trial_publication_info.csv：RCT研究信息CSV文件，数据来源于DOI:10.1016/j.jclinepi.2024.111586
- help_func.R：R函数文件，含表格格式化函数，供figure_tables.R调用
数据来源
gitlab.unige.ch/trial_integrity/llm_majority_public
适用场景
- 自然语言处理研究：复现自动化摘要分类与信息提取的多模型框架实验
- 模型评估：基于gold.csv的人工标准，开展LLM在医学摘要处理任务中的性能评估
- 计算语言学应用：探索多模型融合策略在专业文本信息提取中的优化方向
- 学术研究复现：支持论文"Beyond Human Gold Standards: A Multi-Model Framework..."的研究结果验证与扩展分析
