GoogleTPU图算子运行时预测数据集-训练与测试数据-rishabh15virgo
数据来源:互联网公开数据
标签:机器学习, 深度学习, 图神经网络, TPU, 运行时预测, 性能优化, XLA, 图算子, 神经网络加速
数据概述:
本数据集包含用于预测Google TPU上图算子运行时的数据,分为训练集和测试集。数据以.npz文件格式存储,每个文件代表一个图(kernel),包含n个节点和m条边。每个图会被编译为c种不同的配置,并在TPU上运行。
.npz文件中的关键数据结构包括:
- "node_feat": 形状为(n, 140)的float32矩阵,存储每个节点的特征向量。节点按拓扑顺序排列。
- "node_opcode": 形状为(n,)的int32向量,存储每个节点的op-code。
- "edge_index": 形状为(m, 2)的int32矩阵,存储边的索引。如果第i个条目为[u, v],则表示从节点u到节点v存在一条有向边。
- "config_feat": 形状为(c, 24)的float32矩阵,存储图级别的配置特征向量。
- "config_runtime": 长度为c的int64向量,存储给定图在配置j下的运行时(纳秒)。
- "config_runtime_normalizers": 长度为c的int64向量,存储给定图在默认配置下的运行时(纳秒)。由于在多台机器上运行,来自同一图的样本可能具有略微不同的"config_runtime_normalizers"。
训练集和测试集包含不同的图和配置,用于模型的训练和评估。
数据用途概述:
该数据集主要用于训练机器学习模型,以预测图算子在Google TPU上的运行时。具体应用包括:
- 性能优化: 通过预测不同配置下的运行时,识别并选择最佳配置,从而优化图算子的执行速度。
- 模型训练与评估: 用于训练和评估基于图神经网络或其他机器学习模型的性能,以预测图算子的运行时。
- XLA编译优化: 帮助改进XLA编译器,以更有效地编译和优化神经网络模型。
- 研究: 用于研究图神经网络、运行时预测和TPU加速等相关领域。