印尼语社交媒体评论毒性分析数据集IndonesianSocialMediaCommentsToxicityAnalysis-aldonistan
数据来源:互联网公开数据
标签:社交媒体, 文本分类, 毒性检测, 情感分析, 自然语言处理, 印尼语, 机器学习, 评论分析
数据概述:
该数据集包含来自印尼社交媒体平台的评论文本数据,记录了评论的毒性程度评估,旨在用于毒性言论检测、情感分析等任务。主要特征如下:
时间跨度:数据未明确标注时间,可视为静态语料库。
地理范围:数据主要来源于印尼社交媒体平台,反映印尼语语境下的用户评论。
数据维度:数据集包括以下字段:
id:评论的唯一标识符。
comment_text:评论文本内容。
toxic:是否具有毒性(1表示是,0表示否)。
severe_toxic:是否具有严重毒性(1表示是,0表示否)。
obscene:是否包含猥亵内容(1表示是,0表示否)。
insult:是否包含侮辱性内容(1表示是,0表示否)。
threat:是否包含威胁内容(1表示是,0表示否)。
identity_hate:是否包含针对特定身份群体的仇恨言论(1表示是,0表示否)。
Und: 8, Und: 9:未知字段,可能与数据处理或标注有关。
数据格式:CSV格式,包含data_train.csv, data_test.csv 和 new_kamusalay.csv三个文件,方便文本分析和模型训练。 其中data_train.csv和data_test.csv包含结构化数据,new_kamusalay.csv可能包含词汇表或预处理信息。
该数据集适用于社交媒体评论的毒性分析、情感分析、以及印尼语自然语言处理相关研究。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、文本挖掘、社交媒体分析等领域的研究,例如毒性言论识别、情感分析、用户行为分析等。
行业应用:为社交媒体平台、内容审核机构提供数据支持,用于构建自动化的内容过滤系统,维护社区环境。
决策支持:支持社交媒体平台的风险评估与内容策略制定,提升用户体验。
教育和培训:作为自然语言处理、机器学习等课程的实训数据集,帮助学生和研究人员掌握文本分类、情感分析等技术。
此数据集特别适合用于研究印尼语社交媒体环境下的毒性言论特征,并构建相应的检测模型,从而提升社交媒体内容审核的效率和准确性。