企业官网建设流程全解析

# Spurious Advantage Hidden in GRPO（arXiv:2609.04063）论文笔记
> 论文链接：https://arxiv.org/abs/2609.04063

## 一、论文主要内容总结
Group Relative Policy Optimization（GRPO）是**可验证奖励强化学习（RLVR）**中主流算法，它不需要价值网络，利用同一prompt下一组采样轨迹的组内奖励统计量计算优势值，对大模型推理做强化学习微调。

本文指出GRPO存在一个被忽视的缺陷：**虚假优势（spurious advantage）**。
GRPO的优势估计会给正确输出分配高优势值，但不区分该正确结果是模型**推理得到**还是**靠猜测蒙对**；即便轨迹只是随机猜中答案，依然会得到很高的优势，误导模型去学习猜答案，而不是学习完整推理过程。

作者归纳虚假优势出现的三类典型场景：
1. **候选集有限的有界答案任务**：答案候选集合很小，存在较高蒙对概率；
2. **开放答案数据集内包含有界子任务**：整体是开放作答，但其中部分子问题答案空间很小，可以靠猜测命中；
3. **智能体搜索任务**：搜索预算会生成大量路径，多条不同路径都可以得到同一个正确答案，猜测路径也会被高估。

针对该问题，作者提出改进算法 **SIGNBALANCE**，设计无组合依赖的优势计算方式：保留验证器的奖励符号、使用全局尺度，借助**停止梯度的按类别重缩放**恢复零均值平衡。在数学推理、搜索智能体多组基准测试上：开放答案数学任务性能与原始GRPO持平；在有界答案数学任务、搜索智能体任务上显著优于GRPO。代码后续会开源。

## 二、核心创新点
1. *