数据集概述
本数据集为语法引导大语言模型（LLM）输出物联网数据平台开放数据集成研究的补充数据，包含通过三种LLM（Qwen 2.5 Instruct、Llama 3.1 Instruct、Phi-4）处理六个开放数据源生成的720个符合OGC SensorThings API标准的JSON文档，覆盖不同语法复杂度和输入长度场景，所有输出均验证JSON有效性。
文件详解
- 文件名称：Evaluation.xlsx
- 文件格式：XLSX
- 字段映射介绍：包含720个语法引导LLM输出结果，覆盖六个开放数据源、三种LLM模型、两种语法复杂度（长/短）、两种输入长度（长/短上下文）的实验组合，记录输出质量与计算效率相关评估指标，所有输出已验证JSON有效性。
数据来源
论文“Designing Grammar-Guided LLM Outputs for Open Data Integration – A DSR Approach to IoT Data Platforms”
适用场景
- IoT数据平台开放数据集成研究: 分析语法引导LLM对开放数据转换为STA标准格式的有效性。
- LLM输出质量优化: 探究语法复杂度、输入长度对LLM生成OGC SensorThings API合规文档质量的影响。
- 计算效率评估: 对比不同LLM模型在语法约束下的计算效率差异。
- 语法引导生成方法论验证: 验证语法引导方法提升物联网数据平台互操作性和数据质量的效果。
