提交 Evaluation
workflow/evaluation.zh.md
- 目标仓库：PenguinHarness Benchmark
- 标准格式：RFC-0002 Evaluation
提交流程
- 学习 RFC 数据结构：先阅读 RFC-0002 Evaluation，了解
experiments/<leaderboard-id>/<experiment-id>/下meta_info.yaml以及各实验阶段（train-<n>/、val-<n>/、test/，其中train和val后必须跟数字，test后一定不能跟数字）中summary.yaml和attempt-<n>.yaml的字段规范。 - 提出 Issue：在 PenguinHarness Benchmark Issues 中创建 Issue，说明计划评测的 Benchmark、基座模型、Harness 与 RSI 算法组合。
- Issue 评论区占坑（可选）：在 Issue 评论区留言认领该组实验（占坑是可选步骤，主要用于防止多人跑完全相同的实验配置撞车）。
- 提交 PR：完成评测实验后，按
RFC-0002整理好experiments/<leaderboard-id>/<experiment-id>/下的meta_info.yaml（status设为"draft"）、各阶段summary.yaml与attempt-<n>.yaml，提交 Pull Request。 - Maintainer 审核合并：等待 Maintainer 审核实验配置、分数统计与计费数据；审核通过后将
status更新为"published"并合并入库。
推荐实验指导与例子
- 自进化（RSI）算法推荐配置：对于自进化算法的评估，推荐使用 DeepSeek Flash 模型配合 GDPevo（
GDPevo-essential） 数据集进行实验：GDPevo-essential分为六个独立的子基准（Sub-benchmark）：court-clerk-operations、coverage-review、engineering-portfolio-analytics、financial-control、portfolio-management、service-ticket-resolution。- 因为不同子基准需分别独立训练和评估（不能合并在一起训练），每个子基准必须拆分为独立的
<experiment-id>文件夹提交（参考 penguin-harness-benchmark#18），再通过 RFC-0005 Leaderboard 将六个子基准的结果平均汇总。
- 通用 Benchmark 推荐配置：对于常规 Benchmark（如
penguinharness-benchmark-sec-a至sec-e），推荐使用 DeepSeek Flash 模型运行 3 次重复实验（n_attempt: 3），同时记录score_mean、score_std，可选报告pass@k。 - 模型版本号要求：若使用
deepseek-flash这类模型，必须在meta_info.yaml的model_name字段中写明具体版本号，例如填写deepseek-flash-1017。
格式示例
1. Issue 示例
标题：[Evaluation] <experiment-id>: deepseek-flash-1017 + <Algorithm> on GDPevo-essential
### 实验配置
- **Experiment ID**: `<experiment-id>`
- **Harness**: `PenguinHarness` (`v0.2.16`)
- **Model**: `deepseek/deepseek-flash-1017` (`thinking_level: high`)
- **RSI Algorithm**: `<plugin-id>`（或无）
- **训练集 / 验证集**: `GDPevo-essential` 各任务组 `*-train`（如 `penguinharness-benchmark-gdpevo-crm-train`）
- **测试集**: `GDPevo-essential` 各任务组 `*-test`（如 `penguinharness-benchmark-gdpevo-crm-test`）2. Issue 评论占坑示例（可选）
我来认领这组评测实验，预计在 YYYY-MM-DD 前跑完并提交结果 PR。3. PR 示例
标题：feat(evaluation): add <experiment-id>
Closes #<issue-number>
### 实验结果摘要
- **Experiment ID**: `<experiment-id>`
- **Model**: `deepseek/deepseek-flash-1017`
- **测试集 (`test`) 平均分**: `<score_mean> ± <score_std>`，`pass@k`（选填）: `<pass@k>`（`n_attempt: 3`）
- **单次实验成本 / 耗时**: `$<cost>` / `<duration_ms> ms`
### 自查清单
- [x] 目录结构与 YAML 字段符合 RFC-0002 Evaluation 规范
- [x] `train-<n>` / `val-<n>` 后均跟数字，包含 `test/` 测试阶段（后不跟数字），且 `meta_info.yaml` 中 `status` 已设为 `"draft"`
- [x] `model_name` 已包含具体版本号（如 `deepseek-flash-1017`），费用成本已按 MMSP 模型目录价核算