数据集概述
该数据集围绕文本文件中业务流程信息抽取的辅助数据标注展开,包含标注指南、问卷、工作负荷数据及实验结果等文件,为研究辅助标注对业务流程信息抽取任务的影响提供多维度数据支持。
文件详解
该数据集包含3个文档文件和3个数据文件,具体说明如下:
- 文档文件:
- Annotation-EN.pdf: PDF格式文档,可能为辅助数据标注任务的操作指南或说明文档。
- Questionnaire.pdf: PDF格式文档,可能是用于收集标注者反馈的调查问卷。
- NASA-TLX-Workload-Survey-EN.pdf: PDF格式文档,可能为NASA任务负荷指数量表(TLX)的英文版本,用于评估标注者工作负荷。
- 数据文件:
- tlx.csv: CSV格式数据文件,包含标注者工作负荷相关数据。核心字段示例:user-id(用户ID)、has-experience(是否有经验)、no-assistance-effort(无辅助时的努力程度)、recommendations-effort(推荐辅助时的努力程度)、visualization-effort(可视化辅助时的努力程度)、combined-effort(组合辅助时的努力程度)等。
- results.csv: CSV格式数据文件,包含标注任务的实验结果数据。核心字段示例:user-id(用户ID)、has-experience(是否有经验)、no-assistance-entity-f1(无辅助时实体抽取F1值)、recommendations-entity-f1(推荐辅助时实体抽取F1值)、visualization-entity-f1(可视化辅助时实体抽取F1值)、combined-entity-f1(组合辅助时实体抽取F1值)等。
- questionnaire.csv: CSV格式数据文件,可能为问卷反馈的结构化数据文件。
适用场景
- 自然语言处理研究: 分析不同辅助方式对业务流程信息抽取任务中实体识别、提及抽取等性能的影响。
- 人机协作研究: 探究推荐、可视化等辅助手段对标注者工作负荷、挫败感及标注效率的作用。
- 数据标注优化: 为设计更高效的业务流程信息抽取辅助标注系统提供实证依据。
- 用户体验研究: 评估不同背景标注者(如有无经验)在辅助标注任务中的表现差异。