README

面向持续自我进化 Agent 的基础设施








English | 中文



Reef 是首个面向持续自我进化 Agent 的开源基础设施。它连接 Agent 推理、反馈、学习与
版本化交付。你可以用它配合 Slime 和 SGLang 训练模型权重，也可以改进 Agent 的
harness，包括提示词、规则和技能。




🚀 快速上手 |
🗺️ 路线图 |
🗓️ Office Hours |
📣 发布文章 |
💬 加入 Discord |
📱 加入微信群




 📰 最新动态

- 2026-11： 我们正在将 Reef 重构为 control plane + workers 架构。重构完成前，main 上的部分 recipe 和示例可能会失败。如果遇到失败的 recipe，请提交 issue。
- 2026-11： scenario 可以把流量分给它正在 serve 的多个 artifact 1227，也可以通过 Semantic Router 分流 859。新的 python harness adapter 可以进化一个 Python 程序 1242。
- 2026-10： Tinker 作为训练组件运行 901。episode 和 agent 可以在 Modal Sandbox 中运行 942。artifact 仓库可以放在 Hugging Face 上 1003。新增 recipe：OPD 683。
- 2026-09： reef-infra v0.1.0 发布到 PyPI。新增 recipe：GEPA、SDFT、SDPO 和 Meta-Harness。Reef 在 /v1/responses 提供 OpenAI Responses API 528。
- 2026-08： Reef 开源。阅读发布文章。

 🎯 何时使用 Reef

如果你希望 Agent 通过与你的日常交互不断学习、持续进化，就适合使用 Reef。

| 你的目标 | 学习路径 | 所需条件 |
|---|---|---|
| 持续获得更贴合自身需求的强大模型 | 模型权重训练 | 可训练模型、受支持的 GPU 栈，以及 recipe 可利用的反馈 |
| 让 harness 自我进化 | Harness 优化 | 模型端点、有代表性的任务和评估器；无需本地训练 GPU |
| 进行科学发现 | 测试时训练 | 执行环境、正确性检查器和可度量的目标 |


 🧩 Reef 在技术栈中的位置

| 能力 | 推理引擎（vLLM、SGLang…） | RL 训练框架（Slime、veRL、AReaL…） | Reef |
|---|:---:|:---:|:---:|
| 承接线上流量 | ✅ | ❌ | ✅ |
| 训练权重 | ❌ | ✅ | ✅ |
| 版本管理 | ❌ | ❌ | ✅ |
| 更新期间持续服务 | ❌ | ❌ | ✅ |
| 可进化权重以外的部分（技能、harness） | ❌ | ❌ | ✅ |


 🔄 工作原理



  
  



Reef 的每个学习周期分为四步，下表同时列出各步骤对应的模块。

| 步骤 | 说明 | 对应模块 |
|---|---|---|
| 1 · Serve | 响应 Agent 请求，记录每次交互。 | service/ — Agent 请求与交互记录inference/ — 推理与 artifact 更新 |
| 2 · Observe | 将反馈匹配到已记录的交互。 | storage/records.py — 已存储的交互与反馈record2sample/ — 反馈匹配、条件判定与样本生成 |
| 3 · Grow | 从符合条件的记录中产出一次更新。 | recipe/ — recipe 接入train/ — 训练管线、训练任务数据（job data）与训练任务 |
| 4 · Commit | 应用配置的选择策略并发布通过的更新。 | evaluation/ — 候选评估artifact/ — 版本历史与 release 组件 |


 📦 安装

 💡 注意

 Reef 的 artifact 和 checkpoint 功能依赖系统的 git-lfs 包。Reef 会在本地为自身的
 artifact 仓库初始化 Git LFS。

推荐使用 uv 管理依赖，下文命令均基于 uv。

 通过 PyPI 安装

bash
uv venv && source .venv/bin/activate
uv pip install reef-infra
python3 -c "import reef; print(reef.__version__)"


 通过源码安装

bash
git lfs install
git clone https://github.com/Human-Agent-Society/reef.git
cd reef
uv venv && source .venv/bin/activate
uv pip install -e .
python3 -c "import reef; print(reef.__version__)"


开发或运行下文的训练示例时，请使用源码安装。


 🔧 使用 Reef

Reef 支持两类学习载体：模型权重和 Agent 的 harness。每个部署使用的 recipe
决定其 scenario 更新哪一种载体。

作为最小示例，将 Reef 启动为纯推理服务：

bash
uv run reef serve --inference.model-path Qwen/Qwen2.5-1.5B-Instruct


 模型权重训练部署

 启动部署

下面的示例启动 SAO（arXiv:2607.07508）示例部署。请在 Reef 源码目录下运行，并确保
运行环境满足进化你的模型中的 GPU 要求。

bash
uv pip install -e ".[slime]" && uv pip install --no-deps --group runtime

export MODEL_PATH="Qwen/Qwen2.5-1.5B-Instruct"
export REEF_TOKEN="reef-local"

reef serve -c recipes/sao/examples/imo_answerbench/serve.yaml \
  --inference.model-path "$MODEL_PATH" \
  --reef.port "8900"

curl -f http://127.0.0.1:8900/healthz           ready to serve


 发送推理请求并上报反馈

将推理请求发送至 Reef，并为每个响应上报分数。SAO recipe 使用每条符合条件的带分
rollout 执行一次训练。

Reef 的推理端点兼容 OpenAI 和 Anth

Top issues

Discussions

Latest release

Highlights

- Split training data preparation into record-to-record, record-to-task, and task-to-batch stages (766).
- Add OPD recipes, generated-task training, and AutoEnvScaling examples (683, 707, 755, 790, 791).
- Let recipes choose the training method for each job (695).
- Support Slime weight publication to vLLM through the disk transport (710).
- Share sandbox execution through Harbor environments (803).
- Fix interrupted training recovery, engine startup port conflicts, relative artifact work directories, and OpenRouter web-search streams (728, 730, 723, 712, 769).

 Upgrade notes

Thi