基于AI的作业站点匹配资源与性能数据集-thedevastator
数据来源:互联网公开数据
标签:AI,作业匹配,资源,性能,时间序列分析,GlideinWMS,计算,集群,CPU,内存,磁盘,失败率
数据概述:
本数据集旨在为基于AI的作业站点匹配提供支持,重点关注资源利用率和性能表现。数据集包含了超过40万小时的资源和性能数据,涵盖了多个关键指标,包括磁盘使用量、CPU缓存大小、CPU占用状态、内存使用情况、以及作业的成功或失败状态等。数据集由三个主要文件组成:dataset_classification.csv、dataset_time_series_analysis.csv和dataset_400k_hour.csv。dataset_classification.csv 提供了关于关键资源指标的信息;dataset_time_series_analysis.csv 提供了详细的时间序列分析结果;dataset_400k_hour.csv 包含了来自超过 40 万小时测试的计算结果。
数据用途概述:
该数据集可用于优化GlideinWMS作业的站点选择,提高计算效率和资源利用率。研究人员可以使用此数据进行时间序列分析,预测作业的成功率和性能表现。此外,数据集还可用于开发和训练AI模型,以实现智能作业站点匹配,从而提高系统吞吐量、减少作业失败率,并优化资源分配。具体应用场景包括:根据作业的资源需求推荐合适的站点,预测作业在不同站点上的运行时间,以及分析作业失败的原因并提出改进建议。