维基百科评论毒性分类数据集WikipediaCommentToxicityClassificationDataset-ashadullah
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 情感分析, 自然语言处理, 机器学习, 维基百科, 评论分析, 数据标注
数据概述:
该数据集包含来自维基百科评论的数据,记录了不同评论的毒性程度评估。主要特征如下:
时间跨度:数据未明确标注时间,可视为静态评论语料库。
地理范围:数据来源于维基百科,覆盖全球用户,评论内容可能涉及多种文化背景。
数据维度:数据集包含多个CSV文件,其中:
jigsaw-toxic-comment-train.csv: 包含评论文本(comment_text)及其毒性标签(toxic, severe_toxic, obscene, threat, insult, identity_hate)。
validation.csv: 包含评论文本(comment_text),语言标签(lang)以及毒性标签(toxic)。
test.csv: 包含评论内容(content)和语言标签(lang)。
数据格式:CSV格式,便于数据分析和处理。
来源信息:数据来源于Jigsaw竞赛,由维基百科评论整理而成,并已进行标注。
该数据集适合用于情感分析、文本分类、毒性检测等领域的研究。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、机器学习等领域的研究,如恶意文本检测、情感分析、文本分类等。
行业应用:可用于社交媒体平台的评论审核、内容过滤,以及在线社区的有害言论识别。
决策支持:支持构建更智能的在线内容管理系统,改善用户体验,维护社区环境。
教育和培训:作为自然语言处理、机器学习相关课程的实训数据集,帮助学生和研究人员理解文本分类和毒性检测的原理和方法。
此数据集特别适合用于探索文本中各种毒性表现形式,并构建用于自动识别有害评论的模型,从而实现对在线内容的有效管理。