数据集概述
该数据集是论文《BelarusianGLUE: Analyzing Performance of Open-weight Models》的配套数据与源代码，包含用于分析开放权重模型在白俄罗斯语GLUE任务上性能的实验数据、评估脚本及相关文档，支持白俄罗斯语不同正字法（narkamaŭka、taraškievica、łacinka）的模型评估。
文件详解
- 代码文件（.py格式，共3个）：
- generate_completions.py：生成模型补全结果的脚本
- parse_completions.py：解析补全结果的脚本
- extract_prompts_from_samples.py：从样本中提取提示词的脚本
- 评估脚本（.sh格式，共1个）：
- run_evaluation.sh：执行模型评估的shell脚本
- 文档文件（.md格式，共1个）：
- README.md：数据集使用说明，包含数据解压、加载方法及目录结构说明
- 归档文件（.zip格式，共2个）：
- data.zip：包含不同正字法（n、t、l子目录）的.arrow格式数据集
- lm-evaluation-harness.zip：模型评估工具包
适用场景
- 自然语言处理研究：评估开放权重模型在白俄罗斯语GLUE任务上的性能
- 低资源语言建模：分析不同正字法对白俄罗斯语模型性能的影响
- 模型评估工具开发：基于lm-evaluation-harness扩展白俄罗斯语评估任务
- 多正字法语言处理：研究多正字法语言的模型适配与优化方法
