# 基本概念

Source: https://club.penguin.ooo/zh/roadmap/concepts/

本页简要介绍社区文档中的核心概念：**Agent**、**自进化（RSI）**、**Harness**、**Harness 层与模型层自进化的区别**，以及 **Benchmark**。

## 什么是 Agent

**Agent（智能体）** 是以大模型为核心，能够**感知环境、自主规划、调用工具（读写文件、执行命令、访问网络等）并根据环境反馈迭代完成复杂任务的系统**。

相比“单轮输入 → 单轮输出”的对话模型，Agent 运行在“**观察 → 思考 → 行动 → 反馈**”的多步闭环中，最终交付可验证的工程或任务产物。

## 什么是自进化（RSI）

**自进化（Self-Evolution / Recursive Self-Improvement, RSI）** 是指智能体根据自身执行任务产生的**轨迹（Traces）**与**评估反馈（Feedback）**，自动分析短板并更新自身配置或模型参数，从而在后续任务中持续提升能力的过程。

标准闭环包含四步：**前向执行（Rollout） → 评估归因（Critique） → 更新系统（Update） → 验证保留（Select）**。

1. 前向执行：生成轨迹 Traces。
2. 评估归因：打分与缺陷诊断。
3. 更新系统：更新 Harness 或模型权重。
4. 验证保留：保留更优分支并进入下一代迭代。

## 什么是 Harness

如果把底层大模型比作“大脑”，**Harness（智能体底座/运行框架）** 就是包裹在模型外围、将其转化为可靠智能体的**运行时架构与控制层**（如 [PenguinHarness](https://penguin.ooo/)），主要包括：
- **系统提示词（Prompts）**：如 `AGENTS.md`，定义行为规范与工作流。
- **技能库（Skills）**：如 `SKILL.md` 与脚本，封装可按需加载的领域知识与操作流程。
- **工具与沙箱（Tools & Sandbox）**：文件、终端、浏览器与 MCP 等执行接口。
- **记忆与编排（Memory & Orchestration）**：跨会话记忆、上下文压缩与多智能体（Subagents）协作。

1. 外层为 Harness 层（第一阶段进化对象）：包含系统提示词（AGENTS.md）、技能库（Skills）、工具与沙箱（Tools & MCP）、记忆与编排（Memory）。
2. 内层为模型层（第二阶段进化对象）：基座大模型参数权重（通过轨迹蒸馏、SFT、Agentic RL 进化）。

## Harness 层自进化与模型层自进化的区别

根据**更新对象的不同**，自进化分为 **Harness 层自进化**（外围组件进化）与 **模型层自进化**（底层权重进化）：

| 维度 | Harness 层自进化（第一阶段） | 模型层自进化（第二阶段） |
| :--- | :--- | :--- |
| **进化对象** | 提示词、Skills、工具代码、记忆库、工作流 | 基座模型的神经网络权重（全参数或 LoRA） |
| **核心方法** | 提示词优化、技能合成与修剪、经验反思检索 | 轨迹合成与蒸馏、监督微调（SFT）、强化学习（RL） |
| **算力门槛** | **低**：仅需模型推理（API 调用即可），无需训练集群 | **高**：需多卡 GPU 集群进行采样与梯度更新 |
| **迭代成本** | **低成本、分钟/小时级迭代** | **高成本、天/周级迭代** |
| **可解释性** | **高**：产物为可读的 Markdown 或代码，易于审计与回滚 | **黑盒**：能力编码在浮点数权重中 |
| **跨模型迁移** | **强**：进化出的 Skills 与工作流可直接迁移到其他模型 | **弱**：权重与特定基座模型绑定 |

社区采用**先 Harness 层进化、后模型层进化**的[路线图](https://club.penguin.ooo/zh/roadmap/)：先以低门槛的 Harness 进化沉淀评测基准、算法与高质量轨迹，再将这些显式经验蒸馏与强化到模型参数中。

## 什么是 Benchmark

在自进化研究中，**Benchmark（评测基准）** 是驱动智能体进化并检验其泛化能力的标准化任务集与自动判分环境（详见 [RFC-0001](https://club.penguin.ooo/zh/rfcs/rfc-0001-benchmark/)），包含：
- **任务用例（Cases）**：提供初始工作区（`input_dir`）与任务指令（`Prompt`）。
- **验证器（Evaluator）**：通过脚本、单测或 LLM Judge 对产物自动打分（归一化为 `[0, 1]`）。
- **数据划分（Splits）**：划分为**训练集（`train`，供算法进化学习）**、**验证集（`val`，供选优防过拟合）**与**测试集（`test`，严格冻结用于最终盲测）**。

在社区中，**Benchmark** 提供赛场，**[Algorithm Plugin](https://club.penguin.ooo/zh/rfcs/rfc-0003-plugin/)** 提供进化算法，**[Evaluation](https://club.penguin.ooo/zh/rfcs/rfc-0002-evaluation/)** 记录进化前后的得分与轨迹：

1. Benchmark：提供 train / val / test 任务集与自动判分。
2. Algorithm Plugin：在训练集上驱动 Agent 自进化。
3. Evaluation：记录各阶段得分、成本与轨迹并汇总至榜单。