数据集概述
本数据集为SM01研究项目的实验报告，聚焦DLC并行执行模式下的网络爬取。通过设置不同Load Take（LT）值，分析爬取质量与性能增益的关系，实验基于Sc和Sn两个样本集，包含原始数据与分析结果文件。
文件详解
- 样本集文件：
- Sn_subset.txt：TXT格式，包含Sn样本集的目标网站URL列表
- Sc_subset.txt：TXT格式，包含Sc样本集的目标网站URL列表
- 实验数据压缩包：
- PDLC_BF_Sn_runs.zip：ZIP格式，Sn样本集的基础实验运行数据
- PDLC_Sn.zip：ZIP格式，Sn样本集的DLC并行爬取实验数据
- PDLC_Sc.zip：ZIP格式，Sc样本集的DLC并行爬取实验数据
- PDLC_SM_HITS_PR_Sn.zip：ZIP格式，Sn样本集的HITS/PR算法相关实验数据
- 分析图表文件：
- PDLC_Sn_overview_chart.ods：ODS格式，Sn样本集实验结果的概览图表
- PDLC_Sc_overview_chart.ods：ODS格式，Sc样本集实验结果的概览图表
- 说明文档：
- CrawlReportContentGuide.pdf：PDF格式，实验报告内容的说明指南
适用场景
- 网络爬虫性能优化研究：分析不同LT值对DLC并行爬取模式性能的影响
- 语义爬虫质量评估：探究并行执行模式下爬取质量与性能增益的平衡关系
- 制造领域多语言网站爬取策略优化：基于实验结果优化制造行业网站的语义爬取方案
- 并行计算与网络数据采集：研究并行线程调度对网络数据采集效率的影响机制
