数据集概述
本数据集为CLEVRER-Humans基准,是包含人类标注的物理事件因果判断视频推理数据集。通过迭代事件完形填空任务生成因果事件图(CEGs),结合神经语言生成模型增强数据,将CEGs转换为问答对,包含视频、标注、问题及CEGs四部分内容,用于评估物理事件因果推理能力。
文件详解
- README.md
- 文件格式:MD
- 字段映射介绍:包含数据集概述、许可信息、视频与标注来源说明、问题部分内容简介等文档信息
- train_question.json
- 文件格式:JSON
- 字段映射介绍:训练集问答数据,包含基于因果事件图转换的物理事件因果推理问题及对应内容
- valid_question.json
- 文件格式:JSON
- 字段映射介绍:验证集问答数据,结构与训练集问答数据一致
- train_ceg_data.p
- 文件格式:P
- 字段映射介绍:训练集因果事件图(CEGs)数据,存储物理事件的因果关系图表示
- valid_ceg_data.p
- 文件格式:P
- 字段映射介绍:验证集因果事件图(CEGs)数据,结构与训练集因果事件图数据一致
- causal_cloze.json
- 文件格式:JSON
- 字段映射介绍:因果完形填空任务相关数据,用于生成因果事件图的原始标注内容
数据来源
CLEVRER-Humans benchmark
适用场景
- 物理事件因果推理模型评估: 用于测试模型对视频中物理事件因果关系的理解与推理能力
- 自然语言生成模型优化: 基于人类标注的事件描述,提升模型生成符合人类认知的因果语言能力
- 视频问答系统研发: 作为视频问答任务的基准数据,推动物理事件领域视频问答技术发展
- 因果事件图构建研究: 基于因果完形填空任务及生成的CEGs,探索事件因果关系的结构化表示方法