多语言维基百科评论毒性分析数据集_Multilingual_Wikipedia_Comments_Toxicity_Analysis
数据来源：互联网公开数据
标签：毒性检测, 多语言, 文本分类, 自然语言处理, 机器学习, 评论分析, 情感分析, 机器翻译
数据概述：
该数据集包含来自维基百科评论的数据，记录了不同语言的评论文本及其毒性标签。主要特征如下：
时间跨度：数据未标明具体时间，可视为静态文本语料库。
地理范围：数据来源于维基百科，覆盖全球范围，评论文本包含多种语言。
数据维度：包括评论文本（comment_text）、毒性标签（toxic, severe_toxic, obscene, threat, insult, identity_hate）以及多种语言的翻译文本（translated_es, translated_fr, translated_tr, translated_ru, translated_it, translated_pt）和对应的tokenize结果。
数据格式：包含CSV和NPZ两种格式。CSV文件包括lensample1.csv，df_test.csv，df_validation.csv和submission (4).csv，分别包含带标签的评论样本，测试集，验证集和提交文件。NPZ文件包含data-256.npz，data-512.npz，data-lower.npz和roberta-large-en-data-256.npz，其中包含用于模型训练的特征数据。
来源信息：数据来源于维基百科评论，经过了清洗、标注和翻译处理。
该数据集适合用于多语言文本分类、毒性检测、机器翻译和情感分析等研究。
数据用途概述：
该数据集具有广泛的应用潜力，特别适用于以下场景：
研究与分析：适用于自然语言处理、情感分析、多语言文本处理等领域的学术研究，如跨语言毒性检测、恶意评论识别、机器翻译质量评估等。
行业应用：可为社交媒体平台、在线论坛等提供数据支持，用于构建内容审核系统、用户行为分析和恶意内容过滤等应用。
决策支持：支持内容管理策略的制定和优化，帮助平台识别和处理有害言论，维护社区健康。
教育和培训：作为自然语言处理、机器学习等相关课程的实训数据，帮助学生和研究人员深入理解文本分类和多语言处理技术。
此数据集特别适合用于探索多语言环境下毒性言论的识别与处理，帮助用户构建更准确、更全面的文本分类模型，提升对有害内容的检测能力。
