企业官网建设流程全解析

论文提出了一种名为RSIPO（Recursive Self-Improving Policy Optimization，递归自改进策略优化）的新型智能体强化学习框架，旨在解决现有智能体RL方法中技能生成不同步演化和教师监督不可靠两大核心问题。以下是对其研究内容的全面总结：

一、研究背景与问题

1.1 智能体强化学习的挑战

• 智能体RL需要模型在多轮交互中迭代推理、调用工具、整合观察，完成长时程任务。

• 核心难点在于信用分配：如何将最终的结果奖励合理归因到长序列中的每一步决策。

1.2 现有方法及其局限

当前主流方法分为三类：

• 基于RLVR的方法（如GRPO）：提供轨迹级优势，但监督信号稀疏。

• 基于OPSD的方法：以特权上下文（如技能）为条件的教师模型提供令牌级密集监督，但假设教师始终优于学生。

• 混合方法（如SEED、SDAR、OPID）：结合两者，但存在两个关键缺陷：

缺陷一：技能生成未在同策略下演化

• 技能要么从静态外部库检索，要么由预先离线训练的技能生成器产生。

• SFT数据中仅0.25%轨迹成功，86.8%技能仅涉及动作格式/语法，而策略在RL训练中迅速超过80%成功率，造成严重分布偏移。

缺陷二：教师监督并非总是可靠

• 技能增强的教师在5.5%–22.4%的任务上表现不如学生。

• 训练前15步中，教师在22.9%的任务上不如学生（仅15.0%优于学生）。

• 统一信任教师指导会引入不可靠监督。

二、核心方法：RSIPO框架

RSIPO在RLVR+OPSD混合框架基础上，引入执行检查机制，实现技能与策略的协同演化，并动态校准对教师的信任。

2.1 执行检查（Execution Check via Trajectory Replay）

2.2 类型级经验贝叶斯收缩

2.3 同策略技能演化

2.4 信任校准的自蒸馏

2.5 整体目标

L=LRLVR+λOPSDLOPSD(ω)+Lskill

所有组件在单次更新中联合优化。

三、实验验证

3.1 实验设置

• 基准：ALFWorld（具身交互）+ 7个搜索任务数据集（NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle）。

• 基础模型：Qwen2.5-3B、Qwen2.5-7B、Qwen3-1.7B。

• 对比基线：13种方法，包括Vanilla、Skill-Prompt*、GRPO、Skill-GRPO、OPSD、GRPO+OPSD、Skill-SD、RLSD、SDAR、StepOPSD、OPID、SEED等。

3.2 主要结果

• ALFWorld：RSIPO在三个模型上分别达到95.7%、98.6%、95.0%成功率，超越最强基线SEED 3.9%、2.5%、3.0%，超越GRPO 20.7%、17.4%、48.9%。

• 搜索任务：RSIPO平均准确率45.3%（Qwen2.5-3B），仅次于SEED 0.4%。

• 训练动态：ALFWorld上信任系数从低于1逐渐升至1以上；搜索任务上接近1，表明校准蒸馏在不利情况下优雅退化为标准OPSD。

3.3 消融研究

• OPSD单独：21.9% → 28.1%

• GRPO：75.0%

• GRPO+OPSD：81.2%

• +SFT初始化：86.4%

• +动态信任：+3.6%

• +技能演化：+5.6%

• 完整RSIPO：95.7%

• 移除任一组件损失3.7%–5.7%，证明两者互补。

3.4 案例研究

• ALFWorld：学生常无法放入两个皂液瓶，技能从失败轨迹中学习到搜索垃圾桶并验证拿起成功，回放增益0.878。

• 搜索任务：学生直接搜索死亡日期失败，技能学会先识别亲属再搜索属性，回放增益0.469。

四、主要贡献

1. 协同演化视角：识别现有方法中技能生成和教师监督的局限，提出技能-策略协同演化框架。

2. 自演化框架RSIPO：通过轨迹回放测量技能效用，驱动技能生成优化；应用经验贝叶斯收缩校准教师信任。

3. 实证验证：在多个模型和任务上超越现有方法，达到ALFWorld和搜索任务的最先进性能。

五、局限性与未来工作

• 训练成本增加：额外回放rollout带来计算开销，需权衡效果与效率。

• 依赖可重置环境：目前仅适用于模拟器或离线检索环境，难以扩展到实时网站等不可重置场景。

• 未来方向：扩展到更大模型、更广泛任务（如编码、协作场景）。

RSIPO通过让策略自身从轨迹中生成技能、用回放增益奖励技能生成、并用经验贝叶斯收缩动态校准对教师监督的信任，实现了技能与策略的协同演化，在具身交互和搜索任务上显著超越现有智能体RL方法。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里。

摘要

近期智能体强化学习（RL）的研究重点在于改进长时程任务中的信用分配。一个颇具前景的方向是将可验证奖励的强化学习（RLVR）与同策略自蒸馏（OPSD）相结合，从而将轨迹级优势与密集的令牌级监督整合起来。这类工作通常以特权上下文（如智能体技能）为条件来调节教师模型，使其对学生策略生成的令牌进行评分。尽管取得了进展，这些方法在很大程度上忽视了∙智能体技能的同策略演化以及∙教师监督的可靠性。为此，我们提出了递归自改进策略优化（RSIPO），一种自演化的智能体RL框架，使智能体技能与策略模型在整个训练过程中协同演化。具体而言，RSIPO使策略自身能够从已完成的轨迹中提取技能，并通过轨迹回放显式优化其技能生成能力。它进一步采用经验贝叶斯收缩来动态校准学生对教师评分的信任程度，考虑到技能增强的教师指导有时可能并不可靠。在具身交互和基于搜索的智能体任务上，使用Qwen系列模型进行的实验表明，RSIPO优于所有对比基线方法。以Qwen2.5-7B作为基础模型，RSIPO在ALFWorld上实现了98.6%的平均成功率，相较于第二优基线和标准GRPO分别取得了2.5%和17.4%的绝对提升。

1 引言

智能体强化学习（RL）（Zhang等，2025a,b）已成为大语言模型（LLM）后训练的关键组成部分，显著提升了模型在长时程多轮任务上的性能。与针对静态单轮场景的传统RL（Guo等，2025）不同，智能体RL旨在通过与环境交互来训练模型，模型在多轮对话中迭代推理、调用工具并整合观察结果（Lu等，2026b；Singh等，2025）。这要求学习能够可靠引导智能体成功完成任务的序列决策策略。

如图1所示，近期的智能体RL方法探索了可验证奖励的强化学习（RLVR）、同策略自蒸馏（OPSD）以及将两者结合的混合训练框架。其中，基于RLVR的方法提供了有效的基于结果轨迹级优势，而基于OPSD的方法提供了密集且细粒度的令牌级监督。混合方法试图结合这些互补信号，通常将RLVR分支与OPSD分支耦合进行联合优化。在OPSD分支中，以特权上下文为条件的教师模型对学生生成的令牌进行评分，学生被训练以缩小两个模型之间的令牌级对数概率差距。例如，SDAR（Lu等，2026a）使用从外部技能库检索的智能体技能作为教师模型的特权上下文，而OPID（Yang等，2026b）和SEED（Wu等，2026）则探索使用外部或内部分析器生成此类技能。

尽管在推进智能体RL方面取得了进展，现有的混合方法面临两个关键局限。首先，智能体技能要么从静态外部库中检索，要么由预先离线训练的技能生成器产生。因此，当策略在训练过程中任务执行能力提升时，技能生成并未在同策略下被显式优化以与之共同演化。遵循SEED（Wu等，2026）的实验设置，我们发现用于训练技能生成器的监督微调（SFT）数据中仅有0.25%的轨迹是成功的，主要因为基础模型仅在其11.0%的步骤中遵循了所需的动作格式，而策略的 rollout 成功率在随后的RL训练中迅速超过80%（图2(a)）。结果，SFT数据中86.8%的技能涉及动作格式或语法，尽管策略在前10个RL步骤中已有99.7%的动作是有效的。技能生成器必须总结的轨迹因此从几乎全是失败转变为以成功为主，造成了其初始离线训练未显式处理的分布偏移。其次，OPSD目标鼓励学生与技能增强的教师对齐，隐含假设教师始终比学生自身的决策提供更可靠的指导。然而，获得技能并不保证更好的性能。如图2(b)所示，技能增强的教师在5.5%−22.4%的任务上表现不如学生，具体取决于学生能力水平。其优势在学生四次 rollout 中成功一至三次的任务上最为明显。相比之下，对于学生零次或四次成功的任务，教师表现优于和劣于学生的任务比例仅略有差异（分别为16.0%对13.6%和6.9%对5.5%）。图2(c)进一步表明，在前15个RL训练步骤中，教师在更多任务上表现不如学生而非优于学生（22.9%对15.0%），此后继续在4%−11%的任务上表现较差。因此，统一信任教师指导会使学生策略暴露于不可靠的监督之下。

这些观察促使我们提出递归自改进策略优化（RSIPO），一种自演化的智能体RL框架，它联合改进技能生成和任务执行，同时校准学生对教师监督的信任。在RLVR和OPSD分支的基础上，RSIPO使用学生策略重写技能，并用这些技能回放一半的 rollout，测量相对于作为对照组的另一半的性能增益。每个回放增益通过减去同一任务类型的平均增益进行中心化，所得奖励被分配给生成的技能令牌。这显式地在同策略下优化了策略的技能生成能力，无需辅助评判模型或额外评估数据。除了技能演化，RSIPO还动态调整学生在OPSD分支中对教师的依赖。具体而言，它对回放增益应用经验贝叶斯收缩，以获得稳健且依赖于任务的信任系数来加权OPSD目标。这些系数增加学生对可靠教师指导的依赖，降低不可靠监督的权重，并可在教师特别不可靠的任务上完全禁用蒸馏。

我们在ALFWorld（Shridhar等，2021）具身交互任务和七个基于搜索的智能体任务数据集上，对多种基础模型进行了大量实验。结果表明，RSIPO显著优于广泛的基线方法，包括基于RLVR、基于OPSD和混合智能体RL方法。在ALFWorld上，RSIPO使用Qwen2.5-3B和Qwen2.5-7B（Yang等，2024）分别实现了95.7%和98.6%的平均任务成功率，超过最强先前方法SEED（Wu等，2026）3.9%和2.5%。相较于标准GRPO+OPSD基线的性能提升更大，分别达到14.5%和18.2%。

总结而言，本文的主要贡献有三个方面：

协同演化视角。我们识别了现有智能体RL方法中技能生成和教师监督的局限性，并提出了一个协同演化视角，将同策略技能改进与对教师的自适应信任耦合起来。

自演化框架。我们提出了RSIPO，一个自演化框架，通过轨迹回放测量的技能诱导性能增益来驱动技能-策略协同演化，并应用经验贝叶斯收缩来校准学生对教师监督的信任。

实证验证。跨多个模型和数据集的广泛实验表明，RSIPO优于现有智能体RL方法，在ALFWorld和基于搜索的智能体任务上达到了最先进的性能。

2 相关工作

2.1 智能体强化学习

可验证奖励的强化学习（RLVR）在单轮推理中已展现出显著收益。无评论家的方法如GRPO（Guo等，2025）和DAPO（Yu等，2025）从组归一化的结果奖励中估计优势，消除了PPO（Schulman等，2017）中使用的学习价值网络。在智能体设置中，策略在具身（Shridhar等，2021）、购物（Yao等，2022）或搜索（Jin等，2025）环境中进行多轮交互。将单一终端奖励归因于长序列决策构成了信用分配挑战，促使了多轮训练框架（Wang等，2025；Zhang等，2025b）和步骤级优势估计（Feng等，2025）的发展。另一条互补的研究路线为智能体配备可复用的自然语言经验，包括反思、见解和技能库（Shinn等，2023；Zhao等，2024；Wang等，2023），近期方法将此类技能纳入智能体RL训练（Xia等，2026；Lu等，2026b）。然而，这些方法通常依赖于固定技能库、冻结的外部生成器或未显式考虑生成技能在任务执行中效用的技能生成目标。

2.2 同策略自蒸馏

在同策略蒸馏（OPD）中，教师模型对学生策略采样的序列进行评分，使学生能够从自身的生成分布而非固定语料中学习（Agarwal等，2024；Gu等，2024）。同策略自蒸馏（OPSD）使用同一模型作为教师，通过以学生无法获得的特权训练时上下文（如已解答案或对学生尝试的反馈）为条件（Zhao等，2026；Hubotter等，2026）。混合方法将这种监督与RLVR结合，通常使用智能体技能作为教师的特权上下文（Wang等，2026a）。例如，SDAR从外部库检索技能（Lu等，2026a），OPID使用外部分析器从已完成回合中提取技能（Yang等，2026b），SEED通过监督微调训练策略自身生成技能（Wu等，2026）。其他方法修改教师-学生对数概率差距对优化的贡献方式，例如在动作步骤级别聚合或在训练过程中退火蒸馏信号（Zhang等，2026；Wang等，2026b；Tan等，2026）。

3 方法

3.1 预备知识与符号

3.2 提出的RSIPO

RSIPO保留混合智能体RL框架的RLVR和OPSD两个分支，并添加一个执行检查，测量自生成技能对每个训练任务的实际执行改进程度。测量的增益被使用两次：它们奖励策略模型编写有用技能，使技能生成与任务执行协同演化；它们校准学生对技能增强教师的信任。图3展示了RSIPO框架的整体概览。

4 实验

4.1 实验设置

基准。我们在具身交互任务上评估提出的RSIPO框架和基线方法，使用ALFWorld（Shridhar等，2021）和基于搜索的智能体任务。遵循Search-R1（Jin等，2025），我们采用三个单跳数据集NQ（Kwiatkowski等，2019）、TriviaQA（Joshi等，2017）和PopQA（Mallen等，2023），以及四个多跳数据集HotpotQA（Yang等，2018）、2WikiMultiHopQA（Ho等，2020）、MuSiQue（Trivedi等，2022）和Bamboogle（Press等，2023）用于基于搜索的任务。我们报告ALFWorld上的成功率和基于搜索任务上的精确匹配准确率。

基线。我们将RSIPO与13个基线进行比较，包括无训练方法如Vanilla和Skill-Prompt*，以及图1中三种范式的方法，即基于RLVR的GRPO（Shao等，2024）、Skill-GRPO和Skill-GRPO*，基于OPSD的OPSD（Zhao等，2026），以及混合方法GRPO+OPSD、Skill-SD（Wang等，2026a）、RLSD（Yang等，2026a）、SDAR（Lu等，2026a）、StepOPSD（Zhang等，2026）、OPID（Yang等，2026b）和SEED（Wu等，2026）。Skill-Prompt*在测试时将SkillRL库（Xia等，2026）中的技能添加到提示中，Skill-GRPO在训练中使用这些技能，Skill-GRPO*在测试时也保留它们。所有其他方法，包括RSIPO，在测试时无技能执行。

4.2 主要结果

表1和表3比较了RSIPO与所有基线在三个基础模型上的表现。从这些结果中，我们可以得出以下观察。

具身交互。在ALFWorld上，RSIPO在所有三个骨干网络上实现了最高平均成功率，使用Qwen2.5-3B、Qwen2.5-7B和Qwen3-1.7B分别达到95.7%、98.6%和95.0%。这些结果分别比最强基线SEED高出3.9%、2.5%和3.0%，比标准GRPO高出20.7%、17.4%和48.9%。将OPSD添加到GRPO并未持续提升性能，因为GRPO+OPSD在Qwen2.5-7B和Qwen3-1.7B上均不如GRPO。这一发现与图2中的初步分析一致，表明统一信任教师指导可能不可靠。

表1：ALFWorld和基于搜索的智能体任务结果。我们报告ALFWorld上的成功率(%)和七个基于搜索数据集上的精确匹配准确率(%)。标记为\*的方法在测试时使用技能。在每个基础模型内，最佳和次佳结果被高亮显示。

消融研究。图4(b)报告了在ALFWorld上使用Qwen2.5-3B的累积消融。仅OPSD将基础模型从21.9%提升至28.1%，而GRPO达到75.0%，两者结合达到81.2%。通过SFT初始化，混合流程达到86.4%。在此基础上，动态信任和技能演化分别带来3.6%和5.6%的增益，完整RSIPO达到95.7%。从RSIPO中移除任一组件损失3.7%至5.7%，表明两个组件是互补的。

图4：(a) RSIPO使用Qwen2.5-3B-Instruct的训练动态，粗线为10步移动平均。(b) 在ALFWorld上使用Qwen2.5-3B-Instruct的消融，点标记每个变体的组件。

图5：Qwen2.5-7B-Instruct在ALFWorld上的同策略技能演化。左：技能内容和回放增益Δx​。右：放置两张信用卡任务的浓缩技能，步骤0为SFT策略。

20步时，技能增强的教师越来越优于对照 rollout。在基于搜索的任务上，教师提供的额外收益很小，信任系数保持在1附近，表明即使在这种不利情况下，校准蒸馏也能优雅地退化为近似标准OPSD。

从SFT继承的早期技能常落入格式或恢复类别，平均回放增益为负。程序技能在最后45步中超过94%，回放增益转为正。例如，步骤0的技能仅建议检查语法，而步骤150的技能指定了系统的搜索和放置程序。

5 结论

在这项工作中，我们提出了RSIPO，一种自演化的智能体RL框架，使智能体技能和策略在整个训练过程中协同演化。RSIPO通过比较技能增强的教师回放与对照 rollout 来评估自生成技能的效用。所得回放增益奖励策略生成有用技能，并校准学生对教师监督的信任。在具身和基于搜索任务上的实验证明了RSIPO相较于现有智能体RL方法的优势。未来工作将把RSIPO扩展到更大模型和更广泛的智能体任务，包括编码和协作场景。

局限性

尽管有效，RSIPO有两个主要局限。首先，尽管轨迹回放既不需要额外评估数据也不需要辅助评估模型，但额外的 rollout 增加了训练成本。这引入了训练效果与计算效率之间的权衡。其次，RSIPO依赖于可以重置到指定状态的环境，如模拟器和由离线检索语料库支持的搜索环境。将RSIPO扩展到不可重置的设置，如与实时网站交互，仍然是一个挑战，我们将其留作未来工作。