数据集概述
本数据集是用于开发Web应用高效文本表示架构的研究项目组成部分，包含源代码与数据文件，适用于文本分类任务。数据集结构层次清晰，涵盖数据处理、模型层、训练管理等多类文件，为文本分类相关研究提供技术支持。
文件详解
该数据集包含代码文件、数据文件及配置文件等，具体说明如下：
- 根目录文件:
- requirements.txt: TXT格式，记录项目依赖的Python库及版本信息，如PyTorch等。
- Data目录文件:
- ReducedEmbeddings子目录: 包含多种模型的降维嵌入文件，格式为.npy（如deberta_larg_reduced_embeddings_64.npy）和.pkl（如term_frequencies.pkl）
- term_frequencies子目录: 包含term_frequencies.pkl文件，记录术语频率数据
- utilities目录文件:
- callbacks子目录: CustomModelCheckpoint.py（自定义模型检查点脚本）
- data_manager子目录: CharacterandTokenLevelDataLoader.py、CharacterandTokenLevelCustomDataset.py（数据加载与数据集定义脚本）
- lightning_models子目录: CGNetEmbeddingLightningModel.py、CnnGnnClassifierLightningModel.py等（Lightning框架模型脚本）
- managers子目录: ModelManager.py、ClassifierModelManager.py（模型管理脚本）
- model_layers子目录: GCNN.py、GenGraph.py、ModifiedGATv2Conv.py等（模型层定义脚本）
- codes目录文件:
- notebooks子目录: 包含多个.ipynb格式的Jupyter笔记本，按功能分类存放（如0_Preparation、1_FindBestModel等）
- scripts子目录: 包含数据集处理、分词器相关的.py脚本（如AGNewsDataManager.py、DeBERTaV3Tokenizer.py等）
适用场景
- 文本分类研究: 用于测试和优化基于CNN-GNN架构的文本分类模型性能
- 自然语言处理技术开发: 支持文本表示、嵌入降维、图神经网络应用等技术的研发
- 深度学习模型训练: 提供数据加载、模型管理、训练回调等功能的代码参考
- Web应用文本处理: 为Web应用中的文本分析功能提供高效的文本表示方案支持
