大语言模型生成文本评估数据集LargeLanguageModelGeneratedTextEvaluationDataset-liziyifromjlu
数据来源:互联网公开数据
标签:大语言模型, 文本生成, 评估, 文本质量, 误导性, 事实性, 对抗样本, 模型鲁棒性
数据概述:
该数据集包含由大语言模型生成的文本,并结合人工评估结果,用于评估生成文本的质量和可靠性。主要特征如下:
时间跨度:数据未标明具体时间,可视为静态数据集。
地理范围:数据未限定地理范围,覆盖通用知识领域。
数据维度:包括prompt_id(提示词ID)、text(生成的文本)、prompt(提示词)和generated(生成状态,标识文本是否由模型生成)等字段。
数据格式:CSV格式,文件名为Mistral7B_CME_v7_15_percent_corruption.csv和balanced_train_essays.csv,便于数据分析和处理。
来源信息:数据来源于对大语言模型生成文本的评估,结合人工标注结果,旨在衡量模型生成文本的质量和准确性,以及对对抗样本的鲁棒性。
该数据集适合用于大语言模型生成文本的质量评估、事实性验证和模型鲁棒性研究。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、人工智能和机器学习领域的学术研究,如文本生成质量评估、对抗样本分析、模型鲁棒性研究等。
行业应用:为人工智能公司和研究机构提供数据支持,用于改进大语言模型的生成质量,提高模型的可靠性和安全性。
决策支持:支持模型开发人员对大语言模型进行评估和优化,从而做出数据驱动的决策,改进模型性能。
教育和培训:作为人工智能和自然语言处理相关课程的辅助材料,帮助学生和研究人员深入理解大语言模型的生成机制和评估方法。
此数据集特别适合用于探索大语言模型生成文本的质量评估,以及模型在不同条件下的表现,帮助用户实现对模型的深入理解和优化。