提交 Benchmark
workflow/benchmark.zh.md
- 目标仓库:PenguinHarness Benchmark
- 标准格式:RFC-0001 Benchmark
提交流程
- 学习 RFC 文件结构:先阅读 RFC-0001 Benchmark,了解
packages/<benchmark-id>/、<task-id>/(statement/、rubric/、task_config.toml)、benchmark_config.toml以及可选data/<benchmark-id>/的组织规范。 - 提出 Issue:在 PenguinHarness Benchmark Issues 中搜索是否已有对应 Benchmark 的 Issue;若没有,则新建一个 Issue 说明要整理的 Benchmark 来源与题目规模。
- Issue 评论区占坑(可选):在目标 Issue 评论区留言认领(占坑是可选步骤,主要是为了防止多人同时整理同一个 Benchmark 撞车)。
- 提交 PR:按
RFC-0001完成 Benchmark 转换与自测(提交时benchmark_config.toml的status设为"draft"),提交 Pull Request 并关联 Issue。 - Maintainer 审核合并:等待 Maintainer 审核题目描述、评分标准与配置完整性;审核通过后将
status更新为"published"并合并入库。
推荐验证指导与参考样例
- 推荐验证模型与指标:完成 Benchmark 整理后,推荐使用 DeepSeek Flash 模型重复运行 次来验证题目是否可解、评分器是否稳定且具备区分度,可选报告
pass@k。 - 记录模型版本号:若一并提交基线验证结果,使用
deepseek-flash这类模型时必须在model_name中注明具体版本号(例如deepseek-flash-1017)。 - 参考样例:
- 通用评测基准样例:
penguinharness-benchmark-sec-a(Data Analysis Bench 子集)至penguinharness-benchmark-sec-e(Terminal-Bench 子集)。 - 自进化训练/测试配对样例:
GDPevo-essential的训练包penguinharness-benchmark-gdpevo-crm-train与测试包penguinharness-benchmark-gdpevo-crm-test。
- 通用评测基准样例:
格式示例
1. Issue 示例
标题:[Benchmark] Add <benchmark-id>: <Benchmark 名称>
### Benchmark 简介
- **Benchmark ID**: `<benchmark-id>`
- **上游来源 / 论文**: <链接>
- **题目数量**: <N> 道题
- **评测方式**: Harbor Docker 沙箱 / Rubric 评分
### 整理计划
- [ ] 整理 `packages/<benchmark-id>/benchmark_config.toml` 与各题 `<task-id>/`
- [ ] 整理 `data/<benchmark-id>/` 原始数据(如需要)
- [ ] 使用 `deepseek-flash-1017` 验证题目可正常执行并完成计分
2. Issue 评论占坑示例(可选)
我来认领这个 Benchmark 的整理工作,预计在 YYYY-MM-DD 前提交 PR。
3. PR 示例
标题:feat(benchmark): add <benchmark-id>
Closes #<issue-number>
### 变更内容
- 新增 `packages/<benchmark-id>/`,包含 `benchmark_config.toml` 及 <N> 道题目的 `statement/`、`rubric/` 和 `task_config.toml`
- (可选)新增 `data/<benchmark-id>/` 存放原始任务数据
### 自查清单
- [x] 目录结构与字段符合 RFC-0001 Benchmark 规范
- [x] `benchmark_config.toml` 中 `status` 已设为 `"draft"`
- [x] 已使用 `deepseek-flash-1017` 验证题目可正常执行并完成评分