中文 | English
复现和拆解前沿 LLM 强化学习算法，用更简单的代码和更低的算力门槛，把 GRPO、OPD、OPSD、GSPO、DAPO、Search-R1、ReTool、ALFWorld、Vision GRPO、TEMPO、AgentOPSD、Spec-o3、PyTrio-Jev 等方法跑起来，方便复现。
💬 微信交流群： 点击查看群二维码
这是一个偏实验记录和教程的仓库。我会用 PyTRIO 复现一组和 LLM / Agent RL 相关的强化学习算法，主要做三件事：
- 先把算法讲明白：它从哪篇论文来，解决什么问题，核心变量是什么。
- 再用可运行代码复现：数据、reward、loss、训练循环、SwanLab 记录都放在仓库里。
- 可能未来会做一个更友好和轻量的 Agent RL 和 Harness RL 训练框架～
我曾经很想深入研究 Agentic RL，但我当时看到的训练方案，动不动就要 4 卡、8 卡，训推一体的复杂度、现有框架（verl、Slime、Areal）高耦合的工程代码，让我迟迟没有动手。后来接触到 Tinker 和 PyTrio 之后才愈发觉得 Train API 是一个面向未来的大模型基础设施，才有机会以极低的门槛把这些 Agentic RL 算法复现学会并跑起来。我复现这 14 篇 Agentic RL 论文中的算法只用了不到两个月时间。现在的论文对我而言，最核心的内容只有几行公式而已，这就是 Train API 的真正魅力，可以剥离所有噪声和干扰项，为研究员和学习者留下最为核心的算法内容。
所以我想，能不能让更多和我一样的人，也能早点开始？把算法讲明白，把代码写简单，把实验的入门成本降下来，让每一个有学习想法的人，可以动手试一试。我觉得研究和学习前沿技术的机会，不该取决于你在哪所学校、哪家公司，或者手里有多少张卡。我们能做的事情可能很小，但目前确实没有成体系的 Agentic RL 学习内容，Only datawhale can do！
我要这天，不再高高在上。Agentic RL 属于每一个想要研究和学习它的人！
如果你有不错的 Agentic-RL idea，想做论文或者做项目，可以写一封邮件来申请 PyTrio 的代金券。审核会比较严格，希望大家在邮件里认真写清楚自己的 proposal。PyTrio 也很乐意赞助大家做 Agentic RL 的项目和论文，邮箱：violin@pytrio.com
| 主题 | 内容 | 在线版 |
|---|---|---|
| Loss Function | 用直觉解释 importance_sampling、ppo、cispo 分别在优化什么 |
阅读 |
| GRPO | 复现 GSM8K 上的 GRPO，并比较 importance_sampling / ppo / cispo 三个 loss |
阅读 |
| Vision GRPO | 在 GeoQA 上接入图片输入，解决几何数学题 | 阅读 |
| PyTrio-Jev | 一顿麦当劳早餐，人人皆可训练自己的 Jev 决策模型 | 阅读 |
| General OPD | 用 DeepMath-103K 跑通 Student 采样、Teacher 打分与 reverse KL 的最小闭环 | 阅读 |
| Medical OPD | 从 Medical SFT 出发，用 SAR-OPD 和 IDT-OPD 增强医疗能力，同时保持通用能力 | 阅读 |
| DAPO | 拆解四项核心改进，并记录 Dynamic Sampling 在真实训练中的时间成本 | 阅读 |
| GSPO | 将重要性比率与裁剪从 token 级提升到 sequence 级 | 阅读 |
| OPSD | 用固定的 step-0 Teacher 蒸馏 Student 自采样轨迹 | 阅读 |
| AgentOPSD | 用带 Skill 的 Self-Teacher 分配 turn-level credit | 阅读 |
| Search-R1 | 用 Qwen3.5-4B、PyTRIO 和可切换的在线搜索后端复现多轮搜索 RL | 阅读 |
| ReTool | 用 Qwen3.5-4B、PyTRIO 和本地代码沙箱复现代码交织的 Agentic RL | 阅读 |
| ALFWorld | 用 12K 长轨迹、真实 TextWorld 环境和 group-relative advantage 训练家务 Agent | 阅读 |
| TEMPO | 算法级复现 macro-step 优化与生成式 critic | 阅读 |
| Spec-o3 | 用强化学习找星星：通过 SFT + GRPO，让模型边看光谱、边思考、边调用工具 | 阅读 |
| Tournament-GRPO | 让同题研究报告两两比赛，用淘汰赛胜场构造 GRPO 奖励 | 阅读 |
如果是直接 clone 这个仓库：
git clone https://github.com/datawhalechina/agentic-rl-lab.git
cd agentic-rl-lab
uv sync运行 Spec-o3 的数据下载、SFT、GRPO、评测和绘图命令，见 Spec-o3 快速开始。
Spec-o3 新增 RL epoch 3 开发集结果：同一批 256 题，Qwen3.5-4B 答对 175 题（68.36%），Qwen3.5-9B 答对 191 题（74.61%），Macro F1 分别为 70.93% / 75.94%。完整对照与评测设置见 Spec-o3 Blog。
运行 ALFWorld、TEMPO 或 AgentOPSD 章节时，需要额外安装 TextWorld 环境依赖：
uv sync --extra alfworld如果只想把某个 demo 脚本拎到自己的项目里跑，当前基础依赖为：
uv add \
"datasets>=5.0.0" \
"httpx>=0.28.1" \
"math-verify>=0.9.0" \
"matplotlib>=3.11.0" \
"modelscope>=1.38.1" \
"numpy>=2.5.1" \
"openai>=2.44.0" \
"python-dotenv>=1.2.2" \
"pytrio==0.2.9" \
"swanlab==0.9.2" \
"torch>=2.9.1" \
"torchvision>=0.27.1" \
"tqdm>=4.68.3" Search-R1 直接调用 DeepSeek 官方 Search API，使用 httpx，无需额外安装搜索封装。详见快速启动指南。
ALFWorld 的 optional extra 对应：
uv add --optional alfworld "alfworld==0.4.2" "spacy==3.8.13"前几天在小红书分享记忆张量（MemTensor）的论文，评论区有位朋友说，他已经入职这家公司，面试时简历里写的就是本仓库的 AgentOPSD！加上好友才发现，刚入门时耐心帮他答疑的 Datawhale 思语，也是我的好朋友。哈哈，世界真小。看来学会 Agentic RL 是真能找到工作啊🤔。目前确实没有其他更好 Agentic RL 教程，Only datawhale can do！
顺便安利一下他们开源的原生记忆模型 MemT-1.0，欢迎下载体验～
- 宋志学-项目负责人（Datawhale 成员）
- MRLE（北京交通大学）：Tournament-GRPO
想为这个仓库贡献内容？欢迎！请先阅读 贡献指南：新增算法章节请先开 Issue 提案，修复和文档改进可以直接提 PR。
- 感谢 @Sm1les 对本项目的帮助与支持
- 感谢 PyTRIO 官方团队 对本项目的支持
- 感谢 Kimi 全球大使计划 对项目作者的支持
- 感谢 OpenAI Codex for Open Source 计划 为项目作者提供的 ChatGPT Pro 订阅支持
- 感谢 火山 Hero 计划 对项目作者的支持
- 感谢所有为本项目做出贡献的开发者们 ❤️
See LICENSE.