在线评论毒性识别数据集OnlineCommentToxicityIdentificationDataset-yochino
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 情感分析, 自然语言处理, 机器学习, 评论分析, 恶意评论, 数据标注
数据概述:
该数据集包含来自维基百科评论的文本数据,记录了不同用户发表的评论内容,并标注了其毒性程度。主要特征如下:
时间跨度:数据未明确标注时间,可视为静态语料数据集使用。
地理范围:数据来源于全球范围内的维基百科,评论内容涉及不同国家和文化背景。
数据维度:数据集包括“id”(评论唯一标识符)、“comment_text”(评论文本)以及多个毒性标签,包括“toxic”(有毒)、“severe_toxic”(严重有毒)、“obscene”(淫秽)、“threat”(威胁)、“insult”(侮辱)和“identity_hate”(针对特定身份的仇恨言论)。
数据格式:CSV格式,包含两个文件:jigsaw-toxic-comment-train.csv 和 jigsaw-unintended-bias-train.csv,便于文本处理和模型训练。
来源信息:数据来源于Jigsaw竞赛,旨在促进对在线恶意评论的识别与过滤。该数据集适用于文本分类、情感分析和自然语言处理等领域的研究。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、文本挖掘、情感分析等学术研究,如恶意文本检测、用户行为分析、偏见分析等。
行业应用:为社交媒体平台、在线论坛、评论系统提供数据支持,用于构建内容审核系统、垃圾评论过滤、用户体验优化等。
决策支持:支持内容管理策略的制定,帮助平台方更好地管理用户生成内容,维护社区环境。
教育和培训:作为机器学习、自然语言处理等相关课程的实训数据,帮助学生和研究人员理解文本分类、情感分析等技术。
此数据集特别适合用于探索在线评论的毒性模式,构建高效的恶意文本检测模型,从而提升在线社区的健康度和用户体验。