将真实 GitHub 软件工程评测基准 SWE-bench 接入 penguin-harness-benchmark,封装标准化容器评测环境与自动评分脚本(遵循 RFC-0001 规范)。
该任务正在进行中,可查看任务 Issue 或关联 PR:
将前沿驻场工程师(Forward-Deployed Engineer)真实客户交付基准 FDE-Gym(涵盖 18 个行业、20 个客户场景的 95 个端到端交付任务,评测 Agent 在拟真生产系统中澄清模糊需求、发掘隐式约束并完成系统交付的能力)集成至 penguin-harness-benchmark(遵循 RFC-0001 规范)。
请直接在该任务的 GitHub Issue 下方评论回复 /claim 完成认领:
构建涵盖 Sec A–E 五大领域的 50 个标准化基准评测任务包(penguinharness-benchmark-sec-a..e),提供统一配置清单与评分细则(遵循 RFC-0001 规范)。
该任务已完成并通过审核合入(+50 EXP 已结算):
将 GDPevo Essential 六大业务场景共 60 道评测任务(30 道连续训练任务与 30 道独立测试任务)集成至 penguin-harness-benchmark(遵循 RFC-0001 规范)。
构建基于帕金森病语音重复测量数据的生物医学预测基准任务包,评测跨患者留出验证、声学特征增量预测价值与条件不确定性区间估计(遵循 RFC-0001 规范)。
以 DeepSeek-V4.1-Flash-1017 为基座模型,在 GDPEVO Essential 六大评测场景上对比 Codex 在接入自进化(RSI)前后的任务解决率与 Token 成本变化,提交完整实验轨迹并补充至 GDPEVO Essential 榜单(遵循 RFC-0002 规范)。
基于 PenguinHarness 评测 GPT-6 作为基座模型在多轮自进化(ACE / OPRO / Skill 演化)下的分数提升幅度与泛化表现,并将评测结果补充至 GDPEVO Essential 榜单(遵循 RFC-0002 规范)。
在 GDPevo Essential 六大场景上评测 DeepSeek v4.1 在 SkillAdam、SkillOpt、TRACE、OpenSkill 四种自进化算法与基线下的训练与三次重复测试表现(遵循 RFC-0002 规范)。
使用 DeepSeek v4.1 在 Sec A–E 五大基准(共 600 次测试采样)上系统对比 DeepSeek Harness、PenguinHarness、Pi 与 Codex 四种框架的任务得分与成本(遵循 RFC-0002 与 RFC-0005 规范)。
复现并集成 RSIAgent(arXiv:2609.15364),通过 Curriculum、Actor 与 Verifier 智能体执行先广度后深度的环境探索,构建可复用的冻结因果记忆。
复现并集成正则化递归自进化方法 RRSI(arXiv:2609.24972),包含退火修改预算 Proposer、防基准过拟合 Critic 与 Token 剪枝器 Pruner。
为 PenguinHarness 开发知识库插件,支持多源文档切分入库、混合检索、行内引用标注以及从 Agent 轨迹中持续沉淀领域知识。
为 PenguinHarness 开发本体(Ontology)插件,支持实体、关系与动作契约的结构化建模及基于执行轨迹的本体自动演化。
优化 PenguinHarness 上下文压缩(Compaction)机制,支持在生成摘要前通过多轮工具调用将长篇计划、结论与草稿写入 handoff 文件,并附带 Trace 行级检索指引。
基于 PenguinHarness 构建一个可玩性高、直观有趣的自进化案例实验(如游戏博弈、交互式挑战或复杂任务演化),要求提供完整可复现的环境配置、进化前后对比轨迹与复现说明。
这个链接指向 Shared RSI Community 之外的网站,会在新标签页中打开:
使用微信扫描下方二维码加入交流群