注：本文包含 AI 辅助创作

• 参考链接：
  • 原始论文：Sample More to Think Less: Groupx Filtered Policy Optimization for Concise Reasoning, 20250813, Microsoft

Paper Summary

• 整体总结
  • 论文提出了组过滤策略优化（Group-Filtered Policy Optimization, GFPO）（是 GRPO 的一种扩展方法）
  • 通过 采样更多响应 并 选择性地学习 与目标属性（如简洁性或 Token 效率）最匹配的样本来优化模型
    • 这种选择性学习作为一种隐式的奖励塑造机制，引导策略生成更高质量的输出，同时抑制诸如响应长度膨胀等不良行为，而无需复杂的奖励工程
  • 问题：Token 效率部分有点像是 Kimi K1.5 的内容？
• 背景 & 问题：
  • RLVR-based RL 训练的 LLM 往往会以长度换取准确性
  • 更长的回答可能适用于更难的问题，但许多 Token 仅仅是“填充内容”：重复、冗长的文本并未真正推动问题解决
• GFPO 可解决上述问题：
  • 在训练时对每个问题采样更大的群组
  • 根据两个关键指标过滤回答来抑制这种长度爆炸：
    • (1) 回答长度；
    • (2) Token 效率（奖励与 Token 数量的比值）
  • 通过在训练时采样更多，论文教会模型在推理时思考更少
    • 在 Phi-4-reasoning 模型上，GFPO 在具有挑战性的 STEM 和编程基准测试（AIME 24/25、GPQA、Omni-MATH、LiveCodeBench）中将 GRPO 的长度膨胀削减了 46-71%，同时保持准确性
    • 优化奖励与 Token 比进一步将长度膨胀的减少幅度提升至 71-85%
• 论文还提出了 自适应难度 GFPO（Adaptive Difficulty GFPO）
  • 根据实时难度估计动态分配更多训练资源给更难的问题，从而在计算效率和准确性之间实现更好的平衡，尤其是在困难问题上
• GFPO 证明
  • 增加训练时的计算量可以直接转化为减少测试时的计算量（注：核心结论）
  • 这是一种简单而有效的权衡，旨在实现高效推理

Introduction and Discussion

• RLVR 方法（如 GRPO (2024) 和 PPO (2017)），在实现测试时扩展方面发挥了关键作用
  • 使得像 O3 (2025) 和 DeepSeek-R1 (2025) 这样的模型能够“思考更久”，并在 AIME 和 IMO 等具有挑战性的推理任务中取得前所未有的性能
• 虽然更长的推理链对于解决更难的问题是预期的，但先前的研究表明，长度膨胀可能与正确性无关，而更短的链实际上可能带来更好的准确性。例如：
  • Balachandran 等人 (2025) 报告称，在 AIME 25 上，DeepSeek-R1 生成的回答长度几乎是 Claude 3.7 Sonnet 的 5 倍，尽管两者的准确性相近
  • 类似地，Hassid 等人 (2025) 发现，在 AIME 和 HMMT 上，QwQ-32B 的最短回答在减少 31% Token 使用量的同时，比随机采样的回答准确率高 2%
  • 这表明更长的链并不等同于更好的推理
• 更长的回答可能显得准确性更低，仅仅是因为它们通常来自更难的问题
• 为了区分由问题难度驱动的真实长度增加和不必要的膨胀，论文分析了 Phi-4-reasoning-plus (2025) 中同一问题的多个回答长度与正确性之间的相关性
  • 在 AIME 25 上，论文发现，在生成了正确和错误回答的问题中，72% 的情况下，更长的回答比更短的更容易出错
• 已有一些方法被提出来抑制 RLVR 训练模型中持续的长度膨胀现象，例如 Dr.GRPO (2025) 和 DAPO (2025) 的 Token-level 损失归一化
  • 但即使在 Phi-4-reasoning-plus 的训练中应用了 Token-level 归一化，论文仍然观察到在仅 100 步 GRPO 训练后，回答长度从 4k 迅速增长到 14k Token
  • 论文假设，虽然 Token-level 归一化更严厉地惩罚了长而错误的回答，但它也放大了对长而正确链的奖励
    • 无意中强化了经过大量逐步推理 SFT 的强大基础模型（如 Phi-4-reasoning (2025) 和 DeepSeek-R1-Distill-Qwen (2025)）固有的冗长性
    • 这凸显了仅依赖损失归一化来对抗 GRPO 显著长度膨胀的困难
• 基于这些观察，论文的目标是开发高效的推理模型，这些模型能够保留 GRPO 提供的推理准确性，同时生成显著更短的推理链
• 为实现以上一目标，论文做出了以下贡献：
  • GFPO（群组过滤策略优化） ：
    • 论文提出了 GFPO（图 1，第 3 节），这是 GRPO 的一种简单而有效的变体，旨在显式抑制回答长度膨胀
    • GFPO 将拒绝采样与标准 GRPO 相结合：
      • 对于每个问题，论文采样更大的候选推理链群组 \( G \)，以增加对理想输出的接触，根据目标指标过滤它们，并仅从保留的前 \( k \) 条链的策略梯度中学习
      • 虽然可以设计多种拒绝指标，但论文主要关注回答长度（保留最短的链以鼓励模型在推理时“思考更少”）
      • 当优化长度时，GFPO 在 AIME 25 上将 GRPO 的长度膨胀减少了 46.1%，在 AIME 24 上减少 59.8%，在 GPQA 上减少 57.3%，在 Omni-MATH 上减少 71%，在 LiveCodeBench 上减少 57%，同时保持准确性（第 5.2、5.3 节）
  • Token 效率（Token Efficiency）（第 5.4 节）：
    • 除了仅针对长度外，论文引入了 Token 效率指标（定义为奖励与回答长度的比值）
    • 该指标促进那些通过提供更高奖励来证明其长度的推理链，鼓励模型既简洁又有效
    • 通过 GFPO 优化 Token 效率，长度膨胀在 AIME 25 上减少了 70.9%，在 AIME 24 上减少 84.6%，在 GPQA 上减少 79.7%，在 Omni-MATH 上减少 82.6%，在 LiveCodeBench 上减少 79.7%（定性示例见附录 A）
  • 自适应难度 GFPO（Adaptive Difficulty GFPO）（第 5.5 节）：
    • 论文进一步引入了 GFPO 的自适应变体 ，其中保留的回答数量 \( k \) 基于轻量级、无监督的问题难度估计动态调整
    • 这种自适应策略将更多探索 （更大的 \( k \)）分配给更难的问题 ，同时对较简单的问题进行更激进的缩短
  • 分布外泛化（Out-of-Distribution Generalization）（第 5.6 节）：
    • 论文展示了 GFPO 在分布外任务上保持准确性的同时抑制长度膨胀的能力
  • GFPO 对回答长度和问题难度的分析（Analysis of GFPO on Response Length and Question Difficulty）（第 6 节）：
    • 论文详细分析了 GFPO 在简单与困难问题上的准确性和长度减少情况，并研究了其对长回答准确性的影响
• GFPO 利用了训练时和推理时计算之间的基本权衡，将成本从推理（更短的链带来显著的效率提升）转移到训练，通过采样和评估更多的候选回答
• 这种权衡特别有利，因为训练计算是一次性投入，而推理计算的节省在整个部署过程中持续实现
• 通过这种方式，GFPO 提供了一种简单而有效的解决方案，解决了推理模型中固有的回答长度膨胀问题（在保留 GRPO 最先进性能的同时，生成显著更短的推理链）

Preliminaries

• GRPO (2024) 是一种强化学习算法：通过消除对值模型估计基线优势的需求，简化了 PPO (2017)
• 通过为每个问题采样多个回答并使用其平均奖励作为基线实现，同时仍然优化与 PPO 类似的裁剪代理目标
• 设 \( \theta \) 表示模型参数，\( q \) 表示问题，\( o \) 表示从旧策略 \( \pi_{\theta_{\text{old} } } \) 采样的回答，则
  • GRPO 目标可以表示为：
    $$
    \mathcal{J}_{\text{GRPO} }(\theta) = \mathbb{E}_{[\hat{\eta}\sim P(O), \{o_i\}_{i=1}^C \sim \pi_{\theta_{\text{old} } }(O|q)]} \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min \left( r_{i,t} \widehat{A}_{i,t}, \text{clip}(r_{i,t},1-\varepsilon,1+\varepsilon) \widehat{A}_{i,t} \right) - \beta \mathcal{D}_{KL}(\pi_{\theta} | \pi_{\theta_{\text{old} } } ) + \gamma \text{Entropy}(\pi_{\theta})
    $$
  • 其中优势为：
    $$
    \widehat{A}_{i,t} = \frac{R(q,\rho_i) - \frac{1}{k} \sum_{j=1}^C R(q,\rho_j)}{\sqrt{\frac{1}{k} \sum_{l=1}^G \left( R(q,\rho_i) - \frac{1}{k} \sum_{j=1}^C R(q,\rho_j) \right)^2} }, \quad r_{i,t} = \frac{\pi_{\theta}(o_{i,t} | q,\rho_{i,<t})}{\pi_{\theta_{\text{old} } }(o_{i,t} | q,\rho_{i,<t})}
    $$
  • 且 \( \beta \mathcal{D}_{KL}(\pi_{\theta} | \pi_{\theta_{\text{old} } } ) \) 表示 KL 惩罚
• 需要注意的是，虽然论文展示了标准的 GRPO 损失归一化方程，但包括 verl (2024) 和 TRL (2020) 在内的多个开源强化学习库默认使用 DAPO 的 Token-level 损失归一化进行 GRPO 训练 ，这也是论文在实验中使用的方法
• GRPO 的一个关键限制是其依赖单一标量奖励信号 ，这使得同时优化多个理想的回答属性（如简洁性和准确性）变得困难
  • 这通常导致以显著的回答长度膨胀为代价换取准确性的提升
• 为了解决这一问题，论文引入了 GFPO，以实现对多个回答属性的联合优化

Group Filtered Policy Optimization, GFPO

• 论文提出了 GFPO，一种简单而有效的方法，用于有针对性地优化响应属性
• GFPO 为每个问题采样更大的候选响应组 ，扩大响应池以包含更多具有理想特征的候选 ，然后在计算策略梯度时明确根据这些特征进行过滤
  • 将理想属性（如简洁性或信息量）直接编码到标量奖励中看似自然，但对于多个属性的优化可能会非常具有挑战性
    • 尤其是已经需要捕捉正确性的情况下
  • 数据过滤作为一种隐式、灵活的奖励塑造形式，类似于通过选择性采样来放大特定模型行为的迭代自我改进方法 (2022)
• 在完成这一显式过滤步骤以隔离优选响应后，标准的奖励仅用于在选定组内计算相对优势
• GFPO 能够同时优化多个理想属性（如长度和准确性），而无需复杂的奖励工程
• 由于论文的目标是减少强化学习中的响应长度膨胀 ，论文专注于使用 GFPO 优化更短的响应，同时匹配 GRPO 的准确性
  • 给定一个问题 \( q \)，论文从当前策略中采样一组较大的响应 \( \mathcal{G} = \{o_1, \ldots, o_G\} \)
  • GFPO 根据用户指定的指标应用选择步骤，过滤出大小为 \( k \) 的最理想响应子集用于训练
  • 论文为每个响应计算指标得分并排序，选择前 \( k \) 个响应形成保留子集 \( \mathcal{S} \subseteq \mathcal{G} \)（算法 1）
  • 论文定义一个二元掩码 \( m \in \{0, 1\}^G \)，其中 \( m_i = 1 \) 表示选中的响应，\( m_i = 0 \) 表示被拒绝的响应
• 形式上，论文将 GFPO 的目标函数定义为：
  $$
  \mathcal{J}_{\text{GFPO} }(\theta) = \mathbb{E}_{q \sim P(\mathcal{Q}), \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old} } }(\mathcal{O}|q)} \frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min(r_{i,t} \widehat{A}^{(m)}_{i,t}, \text{clip}(r_{i,t}, 1 - \varepsilon, 1 + \varepsilon) \widehat{A}^{(m)}_{i,t}) - \beta \mathcal{D}_{KL}(\pi_\theta \parallel \pi_{\theta_{\text{old} } }) + \gamma \text{Entropy}(\pi_\theta)
  $$
  • 其中：
    $$
    \mathcal{S}, m = \text{RejectionSample}(\mathcal{G}, k, \text{metric}, \text{order}), \quad m_i = \mathbb{I}_{ \{i \in \mathcal{S} \} } \\
    \mu_S = \frac{1}{k} \sum_{i \in \mathcal{S} } R(q, o_i), \quad \sigma_S = \sqrt{\frac{1}{k} \sum_{i \in \mathcal{S} } (R(q, o_i) - \mu_S)^2}, \quad \widehat{A}^{(m)}_{i,t} = \frac{R(q, o_i) - \mu_S}{\sigma_S} m_i \\
    r_{i,t} = \frac{\pi_\theta(o_{i,t} | q, o_{i,<t})}{\pi_{\theta_{\text{old} } }(o_{i,t} | q, o_{i,< t})}
    $$
    • 注意：均值和方差的计算也仅仅使用选中的 \(k\) 个响应
• 论文对选定子集 \( \mathcal{S} \) 中的响应优势进行归一化，使用 \( \mathcal{S} \) 中响应级奖励的均值 \( \mu_S \) 和标准差 \( \sigma_S \)
  • 这使得在已经表现出理想属性的响应之间进行有意义的比较成为可能，确保 GFPO 在过滤后的子集中优先考虑最高奖励的响应
• 不在 \( \mathcal{S} \) 中的响应优势为零，从而有效地将它们排除在策略更新的影响之外
  • 问题：为什么不直接对不符合的样本进行惩罚，而是选择丢弃？
• GFPO 的主要干预是在优势估计层面，使其与任何 GRPO 变体（如 DAPO (2025)、Dr.GRPO (2025) 或带有 Dual-Clip PPO 损失的 GRPO (2020)）兼容
• GFPO 通过采样更多响应增加了训练时的计算成本，但由于学习到的策略生成的响应比 GRPO 更短，这部分成本得到了部分抵消
• GFPO 是通用的，可以适应各种评分指标，但论文的实验特别利用了旨在减少响应长度膨胀的指标：
  • 响应长度（Response Length） ：训练短响应直接鼓励简洁性
  • Token 效率（Token Efficiency, reward/length） ：训练高 Token 效率的响应鼓励简洁性，但如果响应长度被相应更高的奖励“证明合理”，则仍允许较长的响应
• 其他指标（如事实性、多样性或外部质量评分）也可以集成到 GFPO 中，以优化不同的目标属性

Adaptive Difficulty GFPO

• 论文还引入了 GFPO 的自适应难度变体（算法 2），旨在根据问题的实时难度估计动态分配更多的训练信号到更难的问题上
  • 在训练的每一步，论文通过计算每个问题的采样响应的平均奖励来估计问题难度（较低的平均奖励表示较高的难度）
• 为了自适应地调整保留响应的数量 \( k \)，论文使用轻量级的 t-digest 数据结构维护问题难度的流式摘要
  • t-digest 高效地近似所有已见问题的难度（奖励均值）的四分位数，使论文能够将新问题分类到相对难度桶中
  • 基于此分类，论文为每个问题分配目标保留响应数量 \( k \)（注：从 16 个采样中保留）：
    • 简单问题为 4
    • 中等难度问题为 6
    • 困难和非常困难问题为 8
  • 这种动态课程设计使得在简单问题上进行更激进的过滤，而在困难问题上进行更多的探索
  • 难度桶的数量和每个桶的 \( k \) 是超参数
• 自适应难度 GFPO 高效利用训练计算资源，将梯度更新集中在最需要的地方
  • GFPO 帮助模型在简单示例上减少冗余（在这些问题上正确性已经很高）
  • 同时通过保留更多的推理链在困难问题上保持准确性
• 据论文所知，这是第一个基于问题难度动态调整有效组大小的算法

Setup

• 模型（Model）
  • 论文通过 Phi-4-reasoning（2025）作为基础模型来验证 GFPO 的有效性
  • 该模型是通过对 14B 参数的 Phi-4（2024）在 STEM 领域的合成 O3-mini 推理轨迹上进行广泛的 SFT 得到的，未经过任何 RL 调整
  • 在结果和分析中，论文将 Phi-4-reasoning 称为 SFT 基线
• Baseline
  • 论文将经过 GFPO 调优的模型与使用 GRPO 训练的基线模型 Phi-4-reasoning-plus（2025）进行比较
  • 需要注意的是，论文使用了带有 DAPO Token-level 损失聚合的 GRPO，并对裁剪替代目标进行了轻微修改以提高训练稳定性，具体细节见第 3 节
  • 论文复制了 Phi-4-reasoning-plus 的训练设置，如下所述。在结果和分析中，论文将 Phi-4-reasoning-plus 称为 GRPO 基线
• 数据集（Dataset）
  • 论文的 RL 训练专注于提升数学推理能力
  • 训练数据集包含从更大的训练语料库（2025）中选出的 72k 道数学问题
  • 论文将 RL 训练限制为 100 步，批次大小为 64，因此模型在训练期间仅看到 6.4k 道问题（与用于训练 Phi-4-reasoning-plus 的数据集相同）
• 奖励函数（Reward Function）
  • 论文使用了训练 Phi-4-reasoning-plus（2025）时采用的奖励函数
  • 该奖励是“长度感知”的 0/1 准确度奖励与 n-gram 重复惩罚的加权和
  • 二元准确度奖励 \( R_{\text{acc} } \) 通过从响应中提取最终答案并验证其与真实答案的等价性来计算，如果简单的答案提取失败，则依赖于 LLM 验证器
  • 随后，该奖励被缩放到 -1.0 到 1.0 之间的浮点数，基于响应长度对正确答案的长响应进行惩罚
  • 格式违规会通过最低奖励进行惩罚
  • 最终的奖励函数 \( R \) 是这种长度感知准确度奖励与基于 5-gram 重复频率的重复惩罚的加权组合：
    $$
    R = w_{\text{acc} } \text{LENGTHSCALE}(R_{\text{acc} }) + w_{\text{rep} } R_{\text{rep} },
    $$
    • 其中 \( R_{\text{acc} } \in \{0,1\} \) 且 \( R \in [-1,1] \)
  • 更多细节见 Abdin 等（2025）的第 4.1 节
  • 值得注意的是，奖励中的长度惩罚不足以抑制 GRPO 引起的响应长度膨胀，这促使论文提出了 GFPO
• 训练配置（Training Configuration）
  • 论文使用 ver1（2024）框架进行 GFPO 训练，并采用上述奖励函数
  • 为了与 Phi-4-reasoning-plus 的训练设置保持一致，论文在 32 个 H100 GPU 上对 Phi-4-reasoning 进行 GFPO 调优，全局批次大小为 64，训练 100 步，使用学习率为 \( 1 \times 10^{-7} \) 的 Adam 优化器，前 10 步采用余弦预热，采样温度 \( T = 1.0 \)
  • 论文应用了 KL 正则化（\( \beta = 0.001 \)）和熵系数（\( \gamma = 0.001 \)）
  • 模型的训练上下文长度最大为 32k Token ，其中 1k Token 保留给 Prompt
• 组大小（Group Size）
  • Phi-4-reasoning-plus 的训练组大小为 \( G = 8 \)
  • GFPO 通过增加 \( G \) 来增加对理想响应的曝光，以更多的训练时计算换取更短的推理时响应长度
  • 论文为 GFPO 尝试了 \( G \in \{8, 16, 24\} \)，但为了与 GRPO 公平比较，所有实验中 GFPO 的保留组大小 \( k = |\mathcal{S}| \leq 8 \)，确保模型接收策略梯度信号的响应数量一致
• Evaluation
  • 论文在以下基准上评估检查点：
    • AIME 25（AIME，2025）和 AIME 24（AIME，2024）每个 Prompt 采样 32 次
    • GPQA（2024）采样 5 次
    • Omni-MATH（2025）采样 1 次
    • LiveCodeBench（2024）采样 3 次
  • 论文在温度 \( T = 0.8 \) 下采样响应，最大长度为 32k Token，其中 1k Token 保留给 Prompt
  • 对于 AIME 25、AIME 24、GPQA 和 Omni-MATH，论文首先使用基于正则表达式的答案提取 ，如果提取失败则使用 GPT-4o 进行 LLM-based 提取
  • 尽管论文的 RL 训练集中没有编码数据，但论文通过在 LiveCodeBench 上的评估来衡量 GFPO 优化短响应时对响应长度和准确性的分布外影响
• 论文报告所有模型和数据集的平均 pass@1 准确率、原始响应长度（\( L \)）以及超额长度减少（Excess Length Reduction, ELR）（表 1、2）
• 论文将超额长度减少定义为 GFPO 相对于 GRPO 在 SFT 模型基础上减少的响应长度膨胀程度，公式如下：
  $$
  ELR = \frac{L_{\text{GRPO} } - L_{\text{GFPO} } }{L_{\text{GRPO} } - L_{\text{SFT} } }.
  $$
  • 问题：为什么分子不使用 GFPO - SFT ？
• 为了评估 GFPO 的准确率是否与 GRPO 相当，论文使用 Wilcoxon 符号秩检验（1992）检验 GRPO 与 GFPO 变体之间 pass@1 准确率的差异是否显著
  • 这种非参数配对检验在不假设正态分布的情况下比较每个问题的 pass@1 准确率差异

Results

• 论文评估了三种 GFPO 变体：
  • 最短 \(k/G\)（Shortest \(k/G\)） ：从 \(\mathcal{G}\) 中保留最短的 \(k\) 条响应，通过调整 \(k\) 和组大小 \(G\) 研究其对长度缩减的影响
  • Token 效率（Token Efficiency） ：从 \(\mathcal{G}\) 中保留 \(k\) 条 reward-per-token 最高的响应，使用 \(k=8\) 和 \(G=16\)（与最短 \(k/G\) 的基线设置一致）
  • 自适应难度（Adaptive Difficulty） ：从 \(\mathcal{G}\) 中保留最短的 \(k\) 条响应，其中 \(k\) 根据实时难度估计动态选择（简单问题保留 4 条，中等 6 条，困难和非常困难问题保留 8 条），\(G=16\)
• 论文测量了 pass@1 准确率和超额长度缩减（Excess Length Reduction, ELR）（公式 4）
• Wilcoxon 符号秩检验显示，GFPO 变体与 GRPO 在各任务上的准确率差异无统计学意义，表明 GFPO 在缩减长度的同时保持了准确率

Think Less Without Sampling More?（不增加采样量而实现减少思考）

• 一个自然的问题是：仅通过拒绝采样（不增加总采样量）能否显著缩减响应长度？
• 论文实验了 Shortest 6/8 GFPO，从组大小 \(G=8\) 中保留最短的 \(k=6\) 条响应
• 结果显示
  • Shortest 6/8 GFPO 在 AIME 25、AIME 24、GPQA 和 Omni-MATH 上的准确率与 GRPO 相当，但超额长度缩减效果有限：
    • 在 AIME 25、AIME 24 和 GPQA 上分别仅缩减了 1.8%、9.5% 和 11.5%
    • 在 Omni-MATH 上甚至出现轻微长度增加（+5.5%）（表 1、2）
  • 这表明，虽然从小规模组中采样可以带来轻微的长度缩减，但更显著的缩减可能需要增加 \(G\) 以暴露更多短链
    • 这促使论文进一步探索是否通过采样更多能让模型在推理时思考更少

GFPO Enables Efficient Reasoning

• 基于“增加采样量可能显著缩减链长度”的观察，论文研究了 Shortest 8/16 GFPO 变体的效果
• 该方法将组采样量增至 \(G=16\)，仅保留最短的 8 条响应（即训练模型使用最短的 50% 采样链），被拒绝的样本优势值设为零
• 应用 Shortest 8/16 GFPO 后，论文在多个基准上观察到长度通胀显著缩减：
  • AIME 25 缩减 23.8%，AIME 24 缩减 33%，GPQA 缩减 23.7%，Omni-MATH 缩减 31.5%，且准确率无统计学显著下降（表 1、2）
  • 总体而言，GFPO 在保持 GRPO 强大推理性能的同时，大幅缩减了响应长度
• 发现（Finding）
  • “Thinking Less” Requires Sampling More: Reducing retained responses without increasing group size (Shortest 6/8 GFPO) does not reduce response length.

调整 \(k\) 和 \(G\) 对长度缩减的影响（Effect of Varying \(k\) and \(G\) on Length Reductions）

• 论文进一步研究了保留组大小 \(k\) 和采样组大小 \(G\) 的变化如何影响长度缩减
• 直觉上，减少保留比例（\(k \downarrow\)）或增加采样量（\(G \uparrow\)）均可进一步缩短推理链
• 与 Shortest 8/16 GFPO 相比，略微减少保留集（Shortest 6/16 GFPO）带来中等额外缩减：
  • AIME 25 额外缩减 1.8%，AIME 24 额外缩减 2.6%，GPQA 额外缩减 15.1%，Omni-MATH 额外缩减 12.2%
  • 进一步降低 \(k\)（Shortest 4/16 GFPO）比 Shortest 8/16 实现更强改进，在上述基准上分别额外缩减 14.2%、13.8%、22% 和 15.8%（表 1、2）
• 论文还研究了将采样组大小 \(G\) 从 16 增至 24 的效果（固定 \(k\)）
  • 从 Shortest 8/16 到 8/24 带来显著额外超额长度缩减（AIME 25、AIME 24、GPQA 和 Omni-MATH 分别额外缩减 30.6%、19.7%、28.5% 和 20.4%）
  • 从 Shortest 6/8 到 6/16 实现大幅额外缩减（23.4%、26.2%、27.3% 和 49.2%），进一步增至 6/24 时改进较小（15.4%、9.3%、9.8% 和 14.5%）
  • 从 Shortest 4/16 到 4/24 在上述数据集上分别额外缩减 8.1%、13%、11.5% 和 23.7%（表 1、2）
• 这些结果表明，控制响应长度的关键因素是保留比例 \(k/G\)，通过降低 \(k\) 或增加 \(G\) 来减小 \(k/G\) 可实现响应长度缩减（图 4）
• 论文通过比较两种配置（Shortest 4/16 和 Shortest 6/24）验证了这一点：两者保留比例均为 25%，但绝对 \(k\) 和 \(G\) 不同
  • Shortest 6/24 的平均长度缩减略优（2.9%）（表 2，图 4），反映更大的采样组 \(G\) 增加了遇到高质量短链的机会
    • 这是相对 Shortest 4/16 而言的
  • 若采样组足够大（\(G\) 从 8 增至 16），仅调整 \(k\) 即可高效实现显著长度缩减，无需进一步采样
    • 但保留比例过低时（如从 8/24 降至 4/24），改进边际递减（平均仅额外缩减 4.1%）（表 2）
    • 要突破这一限制，需采用更智能的采样策略
• 发现（Finding）
  • 保留比例 \(k/G\) 控制长度压力 ：
    • 降低 \(k\) 或提高 \(G\) 可进一步缩减长度；
    • 保留 25-33% 响应为最优比例，更小比例收益递减
    • Shortest 4/24 是长度优化最佳 GFPO 变体，实现最强的超额长度缩减

Reinforcing Token Efficiency（强化 Token 效率）

• 先前实验表明，仅降低保留比例 \(k/G\) 最终会触及天花板：超过一定组规模后，难以生成更短的推理链
• 为突破这一瓶颈，论文引入 Token Efficiency GFPO，一种“智能采样”方法，按奖励与 Token 比（reward/length）对响应排序
  • 其直觉很简单：策略应优先选择高效提供高奖励的链；仅当长链的奖励足够高时才保留
• 具体实现中，Token Efficiency GFPO 保留 \(\mathcal{G}\) 中奖励与 Token 比 \(R_i/|o_i|\) 最高的前 \(k\) 条响应
• 在此过滤集中计算优势值，使得短正确链获得最强的正梯度，长正确链获得适度奖励或轻微惩罚 ，长错误链则承受最严厉惩罚
  • 这种对长错误链的额外梯度压力可剪除“填充” Token ，而最短 \(k\) GFPO 无法直接针对这些 Token，因其仅提供不超过最长保留链长度的梯度信号
  • 最短 \(k\) 依赖 KL 惩罚隐式压低后期 Token 概率，而 Token Efficiency GFPO 通过显式负梯度主动抑制这些低价值 Token 位置
• 论文以 \(k=8\) 和 \(G=16\) 训练该方法
• Token Efficiency GFPO 在所有任务上实现最大的超额长度缩减
  • AIME 25 缩减 70.9%，AIME 24 缩减 84.6%，GPQA 缩减 79.7%，Omni-MATH 缩减 82.6%，优于最短 \(k\) 变体（表 1、2），且 \(G\) 更小或相当
  • 这些额外长度缩减伴随轻微代价：训练曲线显示策略性能方差更高（图 2），准确率出现微小（无统计学意义）下降（表 1、2）
• 发现（Finding）
  • Token 效率（reward/length）优化实现最大缩减 ：在 AIME 25、AIME 24、GPQA、Omni-MATH 和 LiveCodeBench 上分别缩减 70.9%**、84.6%、79.7%、82.6%** 和 79.7% ，同时保持准确率，这些缩减伴随训练方差略增
• 这种方差可能源于长正确和错误链中 Token 段的噪声梯度，导致奖励和惩罚信号冲突
  • 尽管如此，Token Efficiency GFPO 在不牺牲准确率的情况下实现了最强的 Token 节省，证实奖励与 Token 比是简洁推理的有效代理指标

Adaptive Difficulty GFPO

• 除改进拒绝指标的智能采样外，论文还引入 Adaptive Difficulty GFPO，根据问题难度动态调整保留组大小 \(k\)，将更多训练资源分配给难题
• 在 Adaptive Difficulty GFPO（第 3.1 节）中，论文通过每问题的响应平均奖励估计难度，使用轻量级 t-digest 数据结构实时计算难度四分位数，并将问题分为四个难度桶：非常困难（后 25%）、困难（25-50%）、中等（50-75%）和简单（前 25%）
• 基于此分类，论文为每个问题分配目标保留响应数 \(k\)：简单问题 4 条，中等 6 条，困难和非常困难问题 8 条（从 \(G=16\) 采样中保留）（算法 2）
• 对于该配置，Adaptive Difficulty GFPO 的每问题平均 \(k\) 为 6.5，因此论文将其与保留响应数和组大小相近的 Shortest 6/16 GFPO 比较
  • Shortest 6/16 GFPO 在 Omni-MATH 上实现更强的超额长度缩减（43.7% vs. 35.1%）
  • Adaptive Difficulty GFPO 在 AIME 25（50.8% vs. 25.6%）、AIME 24（52.9% vs. 35.6%）和 GPQA（41.7% vs. 38.8%）上表现更优
    • 尽管 Shortest 6/16 GFPO 应用了稍激进的响应剪枝
  • 与过滤更激进的 Shortest 4/16 GFPO 相比，Adaptive Difficulty GFPO 在 AIME 25（50.8% vs. 38%）和 AIME 24（52.9% vs. 46.8%）上仍实现更优长度缩减（表 1、2）
• 发现（Finding）
  • 自适应难度 GFPO 在等量计算下优于最短 \(k\) ：根据问题难度动态调整 \(k\)，在 4/5 基准上实现比最短 \(k\) 更强的长度缩减
• Adaptive Difficulty GFPO 在 GPQA 上达到最高准确率（70.8%）（表 1），在 AIME 25 最难题上（27%）也优于 GRPO 和所有 GFPO 变体（图 6a）。这些结果凸显了基于问题难度分配采样预算的有效性
  • 注意，Adaptive Difficulty GFPO 可与 Token 效率指标结合，进一步优化结果

Out-of-Distribution Effects of GFPO

• 论文的 RL 训练方案旨在提升数学推理性能
• 为研究 GFPO 对短响应的偏置是否产生负面影响，论文在编码基准 LiveCodeBench 上评估分布外泛化能力
  • 注意，编码数据未包含在 RL 训练集中
• 论文发现，GRPO 甚至在分布外任务上也导致显著响应长度膨胀，平均响应长度从 10.3k Token （SFT）增至 13.9k Token ，且未提升准确率（56.7% GRPO vs. 57.7% SFT）
  • 对于分布内更难题，更长思考可能合理，但这种长度膨胀在分布外任务中出乎意料且不理想，尤其当更长输出未伴随准确率提升时
• 发现（Finding）
  • GFPO 缓解分布外长度膨胀 ：GRPO 在分布外任务上增加响应长度但未提升准确率；GFPO 抑制此现象，同时小幅提升准确率
• GFPO 有效缓解了这种非预期冗余
  • 在 LiveCodeBench 上，Token Efficiency GFPO 实现最显著的超额长度缩减（79.7%）
  • GFPO 变体甚至在 LiveCodeBench 编码任务上带来轻微准确率提升：Shortest 8/24 GFPO 准确率略优于 SFT 和 GRPO（59.2% vs. 57.7% 和 56.7%），同时缩减超额长度 57%
• 这些结果凸显了 GFPO 在显式管理响应长度增长的同时，保持甚至略微增强分布外泛化的能力

Accuracy-Length Pareto Comparison

• 图 3 全景展示了准确率与响应长度的前沿关系
• 在五个基准中的四个上，至少一个 GFPO 变体严格帕累托优于 GRPO（落入绿色区域），证实 GFPO 可同时提供更短且更准确的答案，实现双轴改进
• 在 AIME 25 上，GRPO 准确率略高，但多个 GFPO 变体仍位于帕累托前沿，以无统计学显著准确率下降换取显著长度缩减
  • 注：AIME 25 上看，效果相对 GRPO 确实一般
• 聚合各任务（右下子图）显示，Shortest 4/24、Adaptive Difficulty 和 Shortest 8/16 是最一致简洁且准确的方法，Token Efficiency 准确率略低但紧随其后

Analysis

• 论文基于 AIME 2025 数据集分析了 GFPO 的行为，通过将问题难度定义为 \(1 - \text{SFT accuracy}\) 来量化每个问题对基础 SFT 模型的挑战程度
• 根据难度将问题分为四个等级（简单、中等、困难、极难），研究 GFPO 在不同难度下对响应长度和准确率的影响
• 随后，论文考察了固定难度下长响应的准确率，并分析了 GFPO 如何重塑长度与准确率的联合分布
• 最后，论文研究了 GFPO 修剪了响应的哪些部分，并在附录 A 中提供了 GFPO 与 GRPO 的定性对比示例

Length Reductions on Easy vs Hard Problems

• 论文分析了 GFPO 在 AIME 2025 上对不同难度问题的长度缩减效果
• 如图 5a 所示，响应长度随问题难度显著增加
  • 从简单问题的约 4k Token 到极难问题的超过 20k Token
• GFPO 在所有难度级别上均有效减少了长度（图 5b）
• Token Efficiency GFPO
  • 实现了最强的整体缩减效果，尤其在简单问题上（相比 GRPO 减少了 121.6% 的冗余长度，图 5b），甚至比 SFT 模型更简短的同时提升了准确率，证明了长度与准确率可以同步优化
  • 但其缩减效果在更困难的问题上减弱（中等难度减少 79.1%，困难减少 63.5%，极难减少 56.5%），因为 Token Efficiency 指标允许长响应存在，前提是其奖励足够高，而这类情况常见于需要复杂推理的难题
• Adaptive Difficulty GFPO
  • 冗余长度缩减随难度递增（简单问题 37.7%，极难问题 60.3%），有效修剪了长尾响应（图 5b）
  • Adaptive Difficulty 和 Shortest 8/16 GFPO 对困难问题均保留 8 条最短响应，Adaptive Difficulty 实现了更强的长度缩减
  • 这种简洁性可能源于从简单问题中学习到的梯度，使得策略即使在挑战性任务中也能避免不必要的 Token
• Shortest 8/24 GFPO 在所有难度级别上均比 Shortest 8/16 表现更好
  • Shortest 8/24 在极难问题上实现了最大的长度缩减，优于保留高奖励长响应的 Token Efficiency GFPO 和为困难问题保留更多响应的 Adaptive Difficulty GFPO（图 5b）
• Finding
  • GFPO shortens responses across all difficulty levels.
  • Token Efficiency GFPO delivers the largest reductions on easy, medium, and hard questions—on easy questions producing responses even shorter than the SFT model while matching GRPO’s accuracy.
  • Shortest 8/24 GFPO achieves the greatest reductions on the hardest questions due to its stronger filtering.

Accuracy on Easy vs Hard Problems

• 接下来，论文考察了 GFPO 在 AIME 2025 不同难度级别上的准确率（图 6a）
• 所有方法在简单问题上均接近完美准确率（98-99%）
• 随着难度增加，SFT 准确率急剧下降，而 RL 微调（GRPO 和 GFPO）始终优于 SFT
• Token Efficiency GFPO
  • 实现了显著的长度缩减（图 5b），但与 GRPO 相比准确率略有下降（图 6a），差异无统计学意义
• Adaptive Difficulty GFPO
  • 在简单、中等和极难问题上匹配或超过 GRPO 的准确率，尤其在中等问题上表现更优（90.2% vs. 88.4%），同时减少冗余长度 47%
  • 在极难问题上，其他 GFPO 变体准确率略有下降，而 Adaptive Difficulty 与 GRPO 持平（27% vs. 26.6%），通过动态分配计算资源在保持准确率的同时减少冗余长度 60%（图 5b）
• 关键发现（Findings）：
  • Adaptive Difficulty GFPO 在中等和极难问题上超越 GRPO 准确率 ，同时减少冗余长度 47%-60%
  • 更大的组规模（\(G\)）提升困难问题的准确率 ：Adaptive Difficulty（\(k=8\)，\(G=16\)）在困难问题上略有下降，但 Shortest 8/24 通过采样更多响应匹配了 GRPO 的准确率

Accuracy of Long Responses under GFPO

• 长响应通常准确率较低，但这一趋势可能与问题难度混杂，难题自然需要更长输出，因此准确率下降可能源于问题本身而非冗余内容
• 为消除混淆，论文固定难度并分析响应长度对模型表现的影响
• 将每个模型对困难和极难问题的响应按长度分为四分位（图 7），结果显示：
  • 随着长度增加，准确率持续下降 ，证实了长响应往往准确率更低（即使问题难度相同）
    • 在困难问题上，多数模型在中等长度（12k-16k Token ，表 3）达到峰值，表明存在一个“甜区（sweet spot）”：足够长以支持推理，但避免过度思考
    • Finding：即使在难度固定的情况下，较长的回复准确度也较低：在处理难题时，推理的最佳长度大约在 12 k到 16k 个词元之间

      Finding：Longer responses are less accurate even at fixed difficulty: Across hard problems, the sweet spot for reasoning emerges around 12k–16k tokens.

  • 超出此范围后，准确率持续下降
    • GFPO 变体在最长分位上的表现优于 GRPO（困难问题 66.7% vs. 52.1%，极难问题 20.3% vs. 17.2%，表 4），因为其最长响应更简短（困难问题 20.8k vs. 23.8k，极难问题 26.9k vs. 27.5k，表 3）且更准确
    • Finding：GFPO outperforms GRPO accuracy in the lengthiest response quartiles
• 论文进一步通过绝对长度分析补充了这一结论（图 6b），固定响应长度并评估每个长度区间内对应问题的准确率、响应占比和难度
  • GFPO 将长尾响应（ \(\ge\)20k Token ）的占比从 GRPO 的 32% 降至 22-23%，同时提升了短响应（< 15k）的比例
  • 这些更短的 GFPO 响应通常解决更困难的问题：在 \(\le\)5k 区间，问题难度是 GRPO 的 9 倍（16-18% vs. 2%），而准确率仅轻微下降（例如 100% -> 97%）
  • GFPO 最长区间准确率略低，反映了许多问题已在更短长度下解决，剩余长响应对应的是最难题目的罕见情况
  • 综上，相对和绝对长度分析表明，冗余内容（而非难度）是 GRPO 长链错误的主因，而 GFPO 以更简洁的方式解决难题且保持竞争力
  • Finding：GFPO cuts extreme verbosity: dropping the fraction of \(\ge\) 20k-token responses from 32% to 22%, while solving harder problems at shorter lengths (questions answered in \(\le\) 5k tokens are 9× harder in GFPO than GRPO).

Distribution-Level Effects of GFPO

• 为可视化 GFPO 如何重塑准确率-长度分布，论文绘制了 AIME 25 上响应长度的核密度估计（图 8）和 32 次独立运行的 pass@1 准确率分布（图 9）
  • 长度分布 ：所有 GFPO 变体压缩了长尾，将质量向短响应转移（图 8）
  • 准确率分布 ：SFT 的准确率分布左偏，表明平均表现较低；GRPO 分布右移，反映更高典型准确率；GFPO 变体介于两者之间。Token Efficiency GFPO 分布最集中，表现最稳定；Shortest 8/24 接近 GRPO 的中心质量；Adaptive Difficulty 呈现轻微双峰，部分重复达到 GRPO 水平，部分略低
• 论文量化了 AIME 25 上准确率与长度的权衡：
  • GRPO 生成长响应的比例最高（46.8% vs. SFT 的 28%），GFPO 变体将其降至 42.1%（Shortest 8/16）、35%（Shortest 8/24）、37.8%（Adaptive Difficulty）和 32.7%（Token Efficiency）
  • GRPO 70% 的问题准确率 \(\ge\)70%，GFPO 变体略低但差异无统计学意义
  • 总体而言，Shortest 8/24 和 Adaptive Difficulty 在缩短响应与保持高准确率之间实现了最佳平衡

What is GFPO trimming?（讨论分析：GFPO 到底修剪了什么？）

• 为探究 GFPO 长度缩减的来源，论文使用 GPT-4o 标注了五个模型（SFT、GRPO、Shortest 8/24 GFPO、Token Efficiency GFPO、Adaptive Difficulty GFPO）在 AIME 25 和 GPQA 上的推理轨迹，将每段文本按功能角色分类：
  • 问题 ：与问题表述和理解相关的文本；
  • 解决方案 ：提出或发展候选解决方案的句子；
  • 验证 ：重新检查或验证中间结果的步骤；
  • 最终 ：输出答案的结论性陈述
• GRPO vs GFPO 定性的比较如下所示，关于 AIME 25 和 GPQA 的更多示例见 附录A
• 图 10 展示了各模型在 AIME 25 和 GPQA 上各部分的平均 Token 数。结果显示：
  • GRPO 显著扩展了中段推理（Solution 和 Verification）
    • 例如 AIME 25 的 Solution 部分从 SFT 的 6.5k Token 增至 8.3k，Verification 从 1.9k 增至 3.1k
  • GFPO 变体 有效压缩了这些阶段
    • Shortest 8/24 将 AIME 25 的 Solution 从 8.3k 减至 6.6k（冗余长度减少 94.4%），表明 GFPO 减少了提出错误或无关候选方案的冗余；Verification 从 3.1k 减至 2.3k（减少 66.7%），修剪了 GRPO 典型的重复性检查
  • Token Efficiency GFPO 在所有部分（除 AIME 25 的 Solution 外） Token 使用更少；
    • Adaptive Difficulty 也显著压缩了 Solution 和 Verification，但不如其他方法激进（GPQA 上趋势类似）
• 关键发现（Finding）：
  • GFPO 大幅削减了推理过程中 解决方案 和 验证 阶段的冗余——在 AIME 25 上分别减少 94.4% 和 66.7% 的冗余长度
  • GFPO 变体对 Problem 和 Final 部分基本保持不变（与 SFT 差异在 10% 以内），表明其专门针对核心推理步骤的冗余，同时保留了问题表述和最终答案的完整性

Related Work

GRPO Loss Modifications

• 近期的工作（如 Dr.GRPO (2025) 和 DAPO (2025)） 通过改进 GRPO 的损失归一化方法，提升了模型的 Token 效率和训练稳定性
  • 标准的 GRPO 在每个响应内部对损失进行归一化后再求平均，这使得所有响应对梯度更新的权重相同，但会导致长输出中的 Token 权重被低估
    • 理解：GRPO 中模型会倾向于生成短的正样本和长的负样本
  • Dr.GRPO 改为按批次中的最大响应长度归一化，而 DAPO 则按总 Token 数归一化
    • 问题：这里的描述错了吧？应该是 Dr.GRPO 没有做归一化，DAPO 则按当前批次的 Token 数归一化
  • 这两种方法都增加了长链中 Token 的权重 ，从而更严厉地惩罚错误的长链
• 在开源强化学习训练框架（如 ver1 (2024) 和 TRL (2020)）中，GFPO 采用了 DAPO 的 Token-level 归一化
  • 但这种方法不仅会惩罚错误的长链，还会放大正确长链的奖励 ，从而导致经过 SFT 的推理模型（如 Phi-4-reasoning-plus 和 DeepSeek-R1-Distill-Qwen）倾向于生成更冗长的输出
    • 这凸显了仅依赖损失归一化来控制输出长度的局限性
    • 问题：不会放大正确长链的奖励吧，相当于是对齐了所有奖励权重了啊
  • GFPO 通过仅对保留链计算优势函数来改进优势估计，这一改进与损失归一化无关；
  • 尽管论文的实验将其与 DAPO 的损失聚合方法结合使用，但未来也可以与其他方法（如 Dr.GRPO）结合

Length-Aware Penalties

• 除了归一化，还有一些工作通过在 GRPO 的奖励中添加显式的长度感知惩罚来抑制长推理链 ：
  • Hou 等人 (2025) 在强化学习过程中设置了 Token 上限（超过上限则奖励为零），并逐步收紧限制；
  • Su 和 Cardie (2025) 使用了一种自适应的直接长度惩罚，其强度随训练动态调整以避免过度压缩或不足压缩；
  • Xiang 等人 (2025) 根据每个问题的解决率反比调整惩罚强度，使得简单问题对额外 Token 的惩罚更大；
  • Cheng 等人 (2025) 结合全局长度奖励和针对冗余思维的压缩奖励；
  • Aggarwal 和 Welleck (2025) 则在给定目标长度的条件下优化准确性，对偏离目标长度的输出进行惩罚
• 在论文的初步实验中，简单地调整长度感知奖励中的惩罚强度并未显著减少输出长度，或者以牺牲准确性为代价
• 相比之下，GFPO 的拒绝步骤通过决定哪些样本用于学习来隐式地塑造奖励，提供了一种更简单的方法来同时优化多个属性（如长度、安全性），而无需复杂的奖励工程
• 当然，将 GFPO 与更精心设计的奖励结合可能会带来进一步的提升
• 问题：GFPO 本质上对丢弃掉的样本的梯度是 0，既不鼓励，也不惩罚，像是浪费了生成的样本，且梯度为 0 本身也有一定的含义，当一个样本被打压时，梯度为 0 的样本相当于被鼓励了（反之亦然）
  • 注：丢弃掉的样本还不参与奖励均值和方差的计算
  • 建议：是否可以做一个补充实验，将丢弃掉的样本使用起来，且针对正负奖励给与一定的长度惩罚

Inference-time Interventions

• 其他工作也探索了如何在推理时纯粹通过干预控制推理长度
• 与论文的工作类似：
  • Hassid 等人 (2025) 表明较短的链通常更准确（即使在控制问题难度后） ，并提出对 \(k\) 个样本中最短的 \(m\) 个进行投票
  • Muennighoff 等人 (2025) 提出了 “预算强制”（budget forcing） ，通过特殊短语（如“Wait”或“Final Answer”）控制推理停止时机而无需重新训练
  • 其他方法通过监控中间生成信号，在模型表现出高置信度或答案在连续推理块中稳定时停止生成 (2025; 2025)
  • 这些方法与 GFPO 是互补的，可以结合使用以进一步降低推理成本或在训练后强制执行长度约束

Rejection Sampling Methods

• 拒绝采样已被应用于多种 LLM 的训练和解码场景中
  • Kim 等人 (2024) 探索了在强化学习后通过采样每个问题的多个解并进行长度缩减的方法，包括
    • （i）对最短的正确响应进行微调，或
    • （ii）使用最短正确输出作为正例、较长输出作为负例应用 DPO（Direct Preference Optimization）
• 相比之下，GFPO 将拒绝采样整合到强化学习更新中
  • 为每个问题采样更大的组，并根据长度或 reward-per-token 选择训练链
  • 避免了额外的蒸馏、长度对齐阶段或显式惩罚项
• DAPO (2025) 采用“动态采样”丢弃所有响应均正确或错误的 Prompt 以稳定批次梯度
• Xiong 等人 (2025) 表明，一个简单的 RAFT 基线 (2023) 仅训练正向奖励样本即可与 GRPO 表现相当
  • 他们的过滤基于正确性奖励，但 GFPO 根据长度或 Token 效率过滤，并能根据问题难度动态调整过滤强度
• 其他应用包括 Khaki 等人 (2024) 将拒绝采样与 DPO 结合，通过为每个 Prompt 采样更多响应并使用奖励分数选择对比对；
• Lipkin 等人 (2025) 使用自适应加权拒绝采样实现高效约束生成；
• Sun 等人 (2024) 通过早期拒绝低分候选加速 Best-of-\(N\) 解码

附录 A：Qualitative Examples

• AIME 25 I Problem 8: GRPO v/s Token Efficiency GFPO
• 更多 Case 比较见原始论文

注：本文包含 AI 辅助创作

• 参考链接：
  • 原始论文：GHPO: Adaptive Guidance for Stable and Efficient LLM Reinforcement Learning, 20250616, Huawei, CityU
  • 开源代码：github.com/hkgc-1/GHPO

Paper Summary

• 整体内容
  • 论文提出了一种新颖的难度感知强化学习框架 GHPO（Guided Hybrid Policy Optimization），解决了 LLM 在 RLVR 中面临的训练不稳定和低效问题（这些问题主要源于能力与任务难度之间的不匹配，导致奖励信号稀疏）
  • GHPO 通过自适应 Prompt 优化动态校准任务难度，平衡模仿学习（用于当前模型难以解决的问题）和探索式强化学习（用于更易处理的任务），从而形成平滑且优化的学习课程
  • GHPO 显著提高了训练稳定性（能智能调整学习过程以适应模型能力的动态变化）
• 背景：
  • RLVR 已成为促进 LLM 自我提升的强大范式（尤其在复杂推理任务中）
  • 当前主流的 On-policy 强化学习方法常面临严重的训练不稳定（training instability）和低效（inefficiency）问题
    • 这主要源于能力与难度的不匹配（capacity-difficulty mismatch） ：即训练数据的复杂性往往超出模型当前能力，导致奖励信号极度稀疏和学习停滞
  • 这一挑战对于更轻量级的 LLM 尤为突出
• 论文提出一种新颖的难度感知（difficulty-aware）强化学习框架 ：GHPO
  • GHPO 通过自适应 Prompt 细化动态校准任务难度，提供针对性引导
  • GHPO 创新性地平衡了两种学习模式构建平滑优化的学习课程（smooth and optimized learning curriculum）：
    • 对于超出模型当前能力的问题采用直接模仿学习
    • 对较易任务则采用探索式强化学习
• 实验结果部分：GHPO 在多个高难度数学基准测试中平均性能提升约5%，持续优于强大的在策略强化学习和课程学习基线
• 论文分析证实，GHPO 显著提高了训练稳定性和最终的推理性能 ，为开发强大且稳健的推理模型提供了一种可扩展且高效的解决方案
• 开源情况：实现代码已开源

Introduction and Discussion

• 新一代大推理模型在复杂推理任务中取得了最先进成果
  • 这些大模型包括 OpenAI-o3 (2025)、DeepSeek-R1 (2025) 和 Kimi-1.5 (2025) 等
  • 这些模型的关键特征是其生成链式思维(2022)和 进行反思式推理的能力

    A key characteristic of these models is their proficiency in producing extended Chains-of-Thought (CoT) and engaging in what appears to be reflective reasoning

• 这种被称为”测试时扩展（test-time scaling）”的现象已被证明能有效解决数学和编程难题
  • 核心训练方法是 Zero-RL 范式，该范式采用 RLVR
• 基于 RL 的后训练在增强推理能力方面展现出比 SFT 更优的泛化性
  • SFT 的本质是模仿学习，SFT 依赖于从人工标注数据或更强模型提炼的 CoT 中进行模仿学习 (2025)
• 当前 RLVR 方法存在显著局限，以 GRPO 为例，作为 On-policy 方法，它们高度依赖当前策略模型的性能，导致两大挑战：
  • 1）能力-难度失配导致的奖励稀疏性（Reward Sparsity from Capacity-Difficulty Mismatch） ：训练数据固有难度与模型演化能力间的严重不匹配会导致奖励稀疏，即均匀无信息的奖励阻碍学习过程 (2025)

    A significant mismatch between the inherent difficulty of the training data and the model’s evolving capabilities often results in reward sparsity, where uniform and uninformative rewards impede the learning process

  • 2）次优样本效率（Suboptimal Sample Efficiency） ： On-policy 算法常受限于次优样本效率
    • 当训练数据集引入更难题以提升基准性能时，策略模型难以有效学习
    • 这一局限在容量受限的轻量化模型中更为突出
• 现有解决方案包括
  • 课程学习（Curriculum Learning, CL）(2025) 通过逐步引入复杂样本来对齐任务难度与模型能力 ，但需人工启发式划分数据集，缺乏扩展性
  • DAPO (2025) 采用动态采样（dynamic sampling）过滤 完全正确 或 完全错误 的 Prompt，但会丢弃大量训练数据
  • 另一类研究探索 Off-policy 或混合 RL 方法以缓解 On-policy 学习的不稳定性 (2025)，但这些方法需要辅助 LLM，增加了训练成本和复杂度
• 受 SFT 等模仿学习技术启发，论文提出一种简单有效的解决方案：用部分真实解题步骤引导模型
  • 具体做法：通过条件化这些解题步骤，将模型的输出分布导向正确答案 ，缓解难题的奖励稀疏问题
  • 但直接应用该技术可能使训练数据过于简单，降低模型独立解题的学习效率
• 论文提出 GHPO 框架：
  • GHPO 巧妙地将在线RL与模仿学习统一：
    • 先动态评估样本难度
    • 再通过自适应 Prompt 细化提供差异化引导
  • 对于模型可处理的问题，主要采用标准 On-policy RL鼓励探索；
  • 对于困难样本，则无缝切换至模仿学习模式，提供显式解题步骤
  • 这种混合方法自动平衡探索与直接引导，在提升训练稳定性的同时优化样本效率
• 论文主要贡献总结如下：
  • 揭示 RLVR 中能力对齐与奖励稀疏问题的关键作用，提出 GHPO 框架以提升训练稳定性与效率
  • 提出 GHPO，通过自适应 Prompt 细化动态检测样本难度，并在 On-policy RL与引导模仿学习间切换
  • 在六个数学基准测试上开展广泛实验，证明 GHPO 优于最先进 RL 方法，且在不同模型家族中均表现稳健

Preliminaries

• 核心问题：GRPO 训练中的奖励稀疏性挑战

Reinforcement Learning with Verifiable Rewards, RLVR

• RLVR 范式中，LLM 可表示为 \(\pi_{\theta}\)，输入 Prompt \(q\)，LLM 生成 Token 序列（轨迹）\(\tau = (o_1, o_2, \ldots, o_T)\)
• 上述轨迹生成过程被建模： finite-horizon、 Token-level MDP（注：核心是 Token-level）：
  • 状态（State） \(s_t\)：在生成步骤 \(t\)，状态是初始 Prompt \(q\) 与已生成 Token 序列的拼接：\(s_t = (q, o_1, o_2, \ldots, o_{t})\)，初始状态 \(s_0 = q\)
  • 动作（Action） \(a_t\)：从模型词表 \(\mathcal{V}\) 中选择下一个 Token \(o_t\)
  • 策略（Policy） \(\pi_{\theta}\)：即 LLM 本身，给定当前状态提供下一个动作（ Token ）的概率分布：\(a_t = o_t \sim \pi_{\theta}(\cdot|s_t)\)
  • 奖励（Reward） \(R\)：RLVR 采用验证器分配的稀疏终端奖励（仅当完整轨迹结束时分配奖励 ，验证器根据最终答案正确性分配二元奖励）：
    $$ R = \begin{cases}
    1 & \text{if the answer is correct} \\
    0 & \text{otherwise}
    \end{cases} $$
• 训练目标是学习最优策略参数 \(\theta^*\) 以最大化 Prompt 分布 \(\mathcal{D}\) 上的期望终端奖励。目标函数 \(\mathcal{J}(\theta)\) 定义为：
  $$ \mathcal{J}(\theta) = \mathbb{E}_{q\sim\mathcal{D},\tau\sim\pi_{\theta}(\cdot|q)}[R(\tau)] $$
  • 该目标通常通过策略梯度算法优化（策略更新通过增加高优势轨迹对应 Token 的对数概率实现）

GRPO

• GRPO 在提升 LLM 数学和编程推理能力方面表现卓越，其核心创新是基于组内比较而非绝对奖励值的优势估计方法
• 对于给定 Prompt \(q\)，GRPO 首先从策略模型 \(\pi_{\theta_{\text{old} } }\) 采样 \(G\) 个不同响应 \(\{o_i\}_{i=1}^G\)，每个轨迹的优势 \(\hat{A}_{i,t}\) 通过其奖励 \(R_i\) 相对于整组统计量归一化计算：
  $$ \hat{A}_{i,t} = \frac{R_i - \mu_{\mathcal{R} } }{\sigma_{\mathcal{R} } + \epsilon} $$
  • \(\mu_{\mathcal{R} } = \frac{1}{G}\sum_{j=1}^G R_j\) 是组内奖励的均值
  • \(\sigma_{\mathcal{R} } = \sqrt{\frac{1}{G}\sum_{j=1}^G (R_j - \mu_{\mathcal{R} })^2}\) 是组内奖励的标准差
  • \(\epsilon\) 为数值稳定性常数
• GRPO 方法的关键在于同一响应 \(o_i\) 内所有 Token 生成步骤共享此 Response-level 优势
• GRPO 复用了 PPO 框架实现训练稳定性，同时策略梯度目标的简化为：
  $$ \mathcal{J}_{\text{GRPO} }(\theta) = \mathbb{E}_{(q,a)\sim D,\{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old} } }(\cdot|q)} \left[\frac{1}{G}\sum_{i=1}^G \frac{1}{|o_i|}\sum_{t=1}^{|o_i|} \left(\min\left(\frac{\pi_{\theta}(o_{i,t} \mid q,o_{i,<t})}{\pi_{\theta_{\text{old} } }(o_{i,t} \mid q,o_{i,<t})}\hat{A}_{i,t},\text{clip}\left(\frac{\pi_{\theta}(o_{i,t} \mid q,o_{i,<t})}{\pi_{\theta_{\text{old} } }(o_{i,t} \mid q,o_{i,<t})},1-\epsilon,1+\epsilon\right)\hat{A}_{i,t}\right) -\beta D_{\text{KL} }(\pi_{\theta}|\pi_{\text{ref} })\right)\right] $$
  • 实际应用中，完整目标可能包含剪切机制和 KL 散度惩罚项以正则化策略更新
  • 但近期许多实现发现省略 KL 项（即 \(\beta=0\)）仍能成功 (2025; 2025)，从而简化优化过程

The Challenge of Reward Sparsity in GRPO

• GRPO 易受训练低效和不稳定性影响（这在实践复现中很常见）
• 论文发现其脆弱性的主因是训练数据难度与策略模型能力间的根本性失配 ，表现为严重的奖励稀疏性 ，这对有效强化学习构成重大障碍
• 当 Query \(q\) 对当前策略 \(\pi_{\theta}\) 来说过于困难时，模型生成的 \(G\) 个响应可能全部错误，导致奖励向量全零（即所有 \(i\in\{1,\ldots,G\}\) 有 \(R_i=0\)）
  • 此时组内奖励均值与标准差均为零，公式(2)的优势计算对所有轨迹返回 \(\hat{A}_{i,t}=0\)
  • 这引发两个关键问题：
    • 1）训练低效 ：零优势导致该 Query 的梯度消失（模型无法获得学习信号，生成和评估 \(G\) 个响应的计算资源完全浪费）
      • 当批次中包含大量此类难题时，多数数据无法贡献策略改进，极大降低整体训练效率
    • 2）训练不稳定（Training Instability） ：能提供非零学习信号的 “effective” Query 数量在梯度更新间剧烈波动
      • 有效批次大小的方差会为梯度估计引入显著噪声，破坏训练稳定性并阻碍可靠收敛
      • 问题：这里是指批次大小的方差，而不是梯度本身的方差
• 奖励稀疏性挑战在容量受限模型（如设备端部署模型，on-device Model）中尤为严峻
• 为量化能力-难度失配，论文在包含约 900K 竞赛级数学题的 NuminaMath-1.5 (2024) 数据集上评估 Qwen2.5-7B-Instruct (2025) 模型性能。
  • 结论是无法解决 52 的问题
  • 这一重要发现说明该数据集大部分内容远超对应 Qwen2.5-7B-Base 模型 (2025) 的固有推理能力，更遑论能力更有限的小型 LLM
• 这清晰表明设备端模型面临的奖励稀疏性问题严重性：
  • 强化学习中超半数数据集可能产生零奖励轨迹 ，无法提供有效梯度信号，严重阻碍模型学习

The Proposed Framework

From Static Guidance to a Dynamic Framework

• 论文的核心策略是将引导（guidance）直接整合到强化学习循环中 ，通过将策略（policy）与部分真实解轨迹（partial ground-truth traces）结合，以解决第2.3节中详述的奖励稀疏性问题
• 这一方法的动机基于如下的 Assumption 1 ，即对于困难问题，此类引导能够提高成功概率 ，从而在原本无法获得有效学习信号的情况下提供支持
  • 对于大多数数学数据，真实解轨迹形式的引导通常是可用的，但在 RLVR 训练过程中，这些宝贵的解轨迹信息通常被忽略，仅使用最终的真实答案
• Assumption 1 ：设 \(\mathcal{D}_{in}\) 和 \(\mathcal{D}_{OOD}\) 分别为域内（in-domain）和域外（out-of-distribution）问题分布，\(\pi_{\theta_{0} }\) 为基策略（base policy）
  • 策略 \(\pi\) 的域外性能通过其期望奖励 \(\mathcal{R}(\pi):=\mathbb{E}_{b\sim\mathcal{D}_{OOD},\tau\sim\pi(\cdot|b)}[R(\tau)]\) 衡量
• 考虑一个基策略无法解决的问题 \(q \sim \mathcal{D}_{in}\)，此时其期望奖励非正（\(\mathbb{E}_{\tau\sim\pi_{\theta_{0} }(\cdot|q)}[R(\tau)] \leq 0\)）
  • 设 \(h\) 为 \(q\) 的部分真实解轨迹（partial ground-truth solution trace）
• 从 \(\pi_{\theta_{0} }\) 微调两个策略，通过最大化目标 \(\mathcal{J}_{GRPO}\)：
  • \(\pi_{\theta_{q},h}\)，使用轨迹：\(\theta_{q,h}=\arg\max_{\theta}\mathcal{J}_{GRPO}(\theta;\{(q,h)\})\)
  • \(\pi_{\theta_{q} }\)，不使用轨迹：\(\theta_{q}=\arg\max_{\theta}\mathcal{J}_{GRPO}(\theta;\{q\})\)
• 论文假设 ，对于失败问题使用真实轨迹能提升域外泛化能力：
  $$
  \mathbb{E}_{b\sim\mathcal{D}_{OOD},\tau\sim\pi_{\theta_{q},h} (\cdot|b)}[R(\tau)] \geq \mathbb{E}_{b\sim\mathcal{D}_{OOD},\tau\sim\pi_{\theta_{q} } (\cdot|b)}[R(\tau)]
  $$
  • 注：这里是只有假设和实验验证吗，是否能给出理论证明？
• 第4节的实验验证了这一假设的有效性。
• 利用这个性质，我们可以获取合法的学习信号，即使在困难样本中（原本会返回 0 奖励并导致梯度消失的样本），但静态应用这一原则（例如预先标记一组固定问题为“困难”并始终对其应用引导）是次优的，存在两个关键限制：
  • 人工精选与可扩展性（Manual Curation and Scalability） ：静态方法需要繁琐的离线流程来确定何时需要引导
    • 静态方法不仅难以扩展，而且具有主观性，可能与模型的实际知识缺口不完全匹配
  • 进化中的模型能力（Evolving Model Capability） ：训练初期对策略无法解决的问题可能在多次更新后变得简单
    • 静态引导策略无法适应模型的动态能力，可能导致对已能通过探索解决的问题“过度引导”，抑制新颖推理路径的学习，降低样本效率

Guided Hybrid Policy Optimization, GHPO

• 论文提出一种自动化框架引导混合策略优化（GHPO） ，旨在提升强化学习效率
• 如图2 所示，GHPO 动态评估样本难度，并自适应地在标准策略强化学习与引导学习之间切换
  • 这种创新方法确保仅在真正需要时提供引导，保留对模型当前能力范围内问题的探索，同时对更具挑战性的场景提供自适应优化
• GHPO 包含两个核心模块：
  • 自动化难度检测（Automated Difficulty Detection） ：评估当前问题的固有难度，决定后续学习流程
  • 自适应 Prompt 优化（Adaptive Prompt Refinement） ：根据检测到的难度，通过融入不同级别的真实引导来优化 Prompt
• 对于给定 Query \(q\) 和真实答案 \(a\)，GHPO 首先生成 \(G\) 个独立响应 \(\{o_{i}\}_{i=1}^{G}\)，并通过奖励模型获取其二元奖励 \(\{r_{i}\}_{i=1}^{G}\)
  • 与 GRPO 不同，这些组级奖励不直接用于优势估计，而是由难度检测模块分析其稀疏性，并根据预设策略优化 Prompt
• 数学上，GHPO通过以下目标优化策略：
  $$
  \mathcal{J}_{\text{GHPO} }(\theta) =\mathbb{E}_{(q,a)\sim D,\{o_{i}\}_{i=1}^{G}\sim\pi_{\theta_{old} } }(\cdot|q)
  \left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_{i}|}\sum_{t=1}^{|o_{i}|}\Big{(}\min\big{(}r_{i,t}(\theta)\hat{A}_{i,t},\text{clip},(r_{i,t}(\theta),1-\epsilon,1+\epsilon),\hat{A}_{i,t}\big{)} -\beta D_{\text{KL} }(\pi_{\theta}|\pi_{\text{ref} })\Big{)}\right] \\
  \text{s.t.} \quad q^{*}=\begin{cases}
  q & \sum_{i=1}^{n}f(a,o_{i})>0 \\
  q+\omega*h_{f,q} & \text{otherwise}
  \end{cases}. \\
  r_{i,t}(\theta)=\frac{\pi_{\theta}(o_{i,t}\mid q^{*},o_{i,<t})}{\pi_{\theta_\text{old}}(o_{i,t}\mid q^{*},o_{i,<t})}, \tag{4-6}
  $$
  • 函数 \(f\) 判断预测是否等价于真实答案
  • \(h_{f,q}\) 是 Query \(q\) 的完整真实解序列
  • \(\omega\) 为分阶段调整的 Hint 比例 (Hint Ratio)
• 通过无缝整合这两个模块，GHPO 能高效切换策略强化学习与引导模仿学习，显著提升训练效率
• 图3 展示了 GHPO 的 Prompt 模板
• 相较于原始 GRPO Prompt ，GHPO 引入增强结构，从真实解中提取 Hints 并附加引导句：“以下文本是答案的开头部分，可供参考以解决问题：”

  The following text is the beginning part of the answer, which you can refer to for solving the problem

Automated Difficulty Detection

• 如Assumption 1 所述，通过融入离线真实 Hints，可以为最困难的问题获取有效学习信号
  • 然而，静态预定义哪些问题需要引导的方法因第3.2节所述限制而难以扩展
• 论文提出难度检测模块（difficulty detection module） ，在不增加人工成本的情况下评估当前问题的固有难度
  • 与其他基于模型的高成本方法不同，论文的方法利用学习过程中固有的准确率奖励
• 对于训练批次中的每个 Query \(q\)，论文通过分析其 \(G\) 个响应的组级奖励 \(\{r_{i}\}_{i=1}^{G}\)（公式6定义）来评估其相对于当前策略模型 \(\pi_{\theta}\) 的难度
  • 若某 Query 的所有 \(G\) 个奖励均为零，表明即使从其输出分布中采样多次，当前策略模型也未能生成正确推理路径
  • 此时，这些稀疏奖励无法为策略改进提供有效梯度信息，因此该 Query \(q\) 被标记为对当前策略模型 \(\pi_{\theta}\) 困难（difficult） ，需自适应引导

Adaptive Prompt Refinement with Multi-Stage Guidance（多阶段指导的自适应 Hint 优化）

• 难度检测模块能够识别出当前策略模型 \(\pi_{\theta}\) 难以处理的 Query 问题
  • 此时根据假设 1（Assumption 1），引入真实解答的 Hints （ground-truth solution hints）可以为这些难题提供有效的学习信号
• 这种指导通过 Hint 比例参数 \(\omega\) 来控制（即引入真实解答的特定比例）
  • 但确定一个固定的最优 \(\omega\) 值具有挑战性，且对于不同难度分布的逻辑推理任务往往效果不佳，因为更复杂的问题天然需要更大比例的 Hint
• 为了解决这一问题，并确保策略改进过程中的持续学习，论文提出了一种多阶段指导的自适应 Hint 优化策略（Adaptive Prompt Refinement strategy with Multi-stage Guidance）
  • 该策略能够动态调整 Hint 比例 \(\omega\)
  • 核心设计目标是避免因 Hint 冗余而导致任务过度简化 ，即防止因过度偏离原始 Query 而降低学习效果
  • 动态 Hint 注入的核心思想是通过学习阶段的线性调度来控制 Hint 比例
  • 论文首先注入一小部分真实解答作为初始 Hint ，若模型仍无法生成正确答案，则在后续阶段逐步增加 Hint 的长度
• 在学习过程的第一阶段 ，论文设置 Hint 比例 \(\omega = 0.25\)，旨在平衡数据难度与策略模型当前能力之间的关系
  • 如公式 (6) 所定义，对于训练批次中被识别为困难的 Query 问题，论文从真实解答轨迹 \(h_{f,q}\) 中提取 25% 的内容作为辅助 Hint ，并将其与原始 Query 拼接，形成优化后的 Query \(q^{*} = q + \omega \cdot h_{f,q}\)，随后用于模型推理
• 在学习过程的第二阶段 ：
  • 若难度检测模块评估至少有一个生成的响应是正确的 ，则保留原始 Query 用于后续组优势计算；
  • 若所有响应均未通过评估（表明问题难度较高），则将 Hint 比例提升至 \(\omega = 0.5\) 以提供更多指导
  • 论文采用最多三阶段的线性调度策略，\(\omega\) 的取值序列为 \(\{0.25, 0.5, 0.75\}\)
  • 这一策略能够充分利用训练数据提升训练效率，无需直接剔除困难 Query
• 除了自适应优化高难度 Query 外，该策略还可视为一种动态数据增强方法
  • 随着策略模型能力在学习过程中逐步提升，最初需要较高 \(\omega\) 的 Query 可能最终仅需较低比例的指导，甚至完全无需指导
  • 理解：这种方法也可以看做是一种课程学习的思路

Cold-Start Strategy

• 在初始优化阶段，策略模型常难以遵循特定格式指令（如将答案括在指定框内），导致预测与真实答案不匹配，准确率奖励低下
  • 此时，自动化难度检测模块可能错误地将多数 Query 标记为困难，引入偏差并浪费计算资源
• 论文提出可选的冷启动策略（Cold-Start Strategy）
  • 在前 \(N\) 步优化（实验中设为 20步）中，暂时禁用难度检测机制，仅使用原始 GRPO 训练流程
  • 该方法在初期节省计算资源，同时让模型掌握基础格式能力，避免在引入自适应引导前产生早期偏差

Hint Extraction Example

• 图4展示了 GHPO 如何有效处理检测到的困难问题
• 以原问题“若三角形两边长为5和7单位，第三边可能的整数长度有多少种？”为例，当前模型多次采样均无法生成正确推理响应，导致奖励稀疏问题
• 为此，GHPO 智能干预，提取真实解的 50% 作为 Hint ，与原问题拼接并附加引导句
• 如图4左侧所示，新构建的 GHPO Prompt 包含针对性 Hint ，从而引导模型更有效地推理

Experiment

Training Datasets

• 使用可验证的数学任务评估 GHPO 算法的有效性
• 论文从 MATH (2021) 和 NuminaMath-1.5 (2024) 数据集中构建了两个不同难度的训练数据集：
  • Math3to5 ：该数据集包含 8,890 道竞赛数学题，难度范围为 3 至 5 级，每道题均附带逐步的真实解答
    • 该数据集代表中等难度水平
  • NuminaMath-S ：这是一个更具挑战性的数据集，包含从 NuminaMath-1.5 中精选的 18,300 道问题，整合了 Math3to5 数据集以及来自 OlympiadBench 和 AMC 的额外问题
    • 该数据集中的每道问题也附带 step-by-step 的真实解答
    • 该数据集代表困难难度级别
• 这两个数据集旨在模拟现实世界中 RLVR 训练场景中常见的中等和困难问题级别

Baseline Models

• 为了全面评估 GHPO，论文选择了两个基础 LLM ，并实现了多种 RLVR 方法：
  • Qwen2.5-Base-7B (2025)：Qwen2.5-7B 的基础模型
  • Qwen2.5-Math-7B (2024)：基于 Qwen2.5-7B 的专用数学大语言模型
  • Qwen2.5-7B-GRPO ：使用 GRPO 训练流程 (2025) 微调的 Qwen2.5-Base-7B
  • Qwen2.5-Math-7B-GRPO ：使用 GRPO 训练流程微调的 Qwen2.5-Math-7B
  • Qwen2.5-7B-GRPO-CL ：该模型采用两阶段训练流程
    • 第一阶段：Qwen2.5-Base-7B 在 math3to5 数据集上使用 GRPO 进行训练；
    • 第二阶段：使用来自 OlympiadBench 和 AMC 的更困难问题对模型进行微调 ，显著提升第一阶段的难度级别
  • Qwen2.5-7B-GRPO-CL-H ：该变体在 Qwen2.5-7B-GRPO-CL 的第二训练阶段应用了恒定 Hint 注入策略（constant hint injection strategy） ，旨在通过提供一致的指导来平衡学习过程
    • 论文在第二训练阶段应用恒定提示注入，以平衡学习过程

Implementation Details

• 论文使用 openr1 (2025) 代码库和 TRL (2020) 框架进行实验
• GHPO 训练在 8 块高性能 GPU 上完成，每块 GPU 配备 80GB 内存和高带宽
• 奖励设置（Reward Setting） ：
  • 论文采用 Rule-based 奖励函数，正确答案奖励 +1，错误答案奖励 0
  • 论文还引入了Format-based 奖励 ，鼓励模型在给出最终答案前显式执行推理步骤
  • 格式奖励的权重与 Rule-based 奖励的比例设置为 2:1
• 超参数与训练配置（Hyperparameters and Training Configuration） ：
  • 使用 AdamW 优化器 (2017)
  • 初始学习率为 \(1 \times 10^{-6}\)
  • 采用余弦调度将学习率衰减至零
  • 10% 的全局步数预热阶段
  • 训练批次大小为 112
  • 每个 Query 采样 8 个响应
  • 梯度更新的累积步数为 8
  • 在训练阶段：
    • 采样配置包括温度为 1.0
    • 每个响应的最大生成长度为 2048 个 token
  • 没有使用 KL 正则化损失或 KL 惩罚

Evaluation Details

• 论文使用 Lighteval 工具包 (2023) 构建评估脚本
• 评估时，温度设置为 0.0 或 1.0（根据基准难度调整），最大生成长度为 4096 个 token
• 为确保一致性，论文使用与训练阶段完全相同的 Prompt 模板，在此阶段不使用任何 Extracted Hint 或 Hint-guided Prompts
• 论文评估了标准数学推理基准上的性能
  • 包括：MATH_500 (2021)、OlympiadBench (2024)、Minerva Math (2022)、GPQA-Diamond (2023)
• 论文还评估了竞赛级基准上的性能
  • 如 AMC2023 和 AIME2024 上的性能
• 报告指标：
  • 对于大多数基准，论文报告 pass@1 结果；
  • 对于 AIME2024，论文报告平均准确率（avg@32），即每个问题生成 32 个样本的平均值

Overall Performance

• 论文的实验评估证明了所提出的 GHPO 方法相较于传统方法的显著有效性和优越性
• 论文在不同难度数据集和不同基线模型上展示了实验结果
• 中等难度任务的性能（Performance on Medium-Difficulty Tasks） ：
  • 首先在 math3to5 训练数据集上进行了初步实验
  • 如表 1 所示，标准 GRPO 方法成功将 Qwen-7B 基础模型训练为强大的推理代理，甚至优于经过大量数学数据微调的 Qwen2.5-Math-7B
  • 但论文的 GHPO 进一步提升了性能，平均准确率比 GRPO 提高了 4.4%
  • 这一提升主要是因为 GHPO 缓解了奖励稀疏性问题
  • 在六个评估基准上，GHPO 训练的模型始终表现出更优的推理能力
  • 特别是在 AMC2023 和 GPQA-Diamond 上，GHPO 的准确率比 GRPO 提高了超过 8%
• 困难任务的性能（Performance on Challenging Tasks） ：
  • 为了进一步评估 GHPO 的鲁棒性，论文使用更具挑战性的 NuminaMath-S 数据集训练 Qwen2.5-7B 基础模型
  • 除了原始 GRPO，论文还引入了课程学习基线（Qwen2.5-7B-GRPO-CL） ，该基线手动按难度划分训练数据集
  • 如表 2 所示，Qwen2.5-7B-GHPO 模型在五个基准上均优于 Qwen2.5-7B-GRPO 和 Qwen2.5-7B-GRPO-CL
    • 这表明奖励稀疏性严重阻碍了有效学习，尤其是对于超出模型当前能力的问题
    • 例如，在 AIME2024 问题上，GHPO 的准确率从 0.122 提升至 0.163
• 课程学习和固定 Hints 的影响（Impact curriculum learning and Fixed Hints） ：
  • 虽然课程学习部分解决了模型能力与问题难度不匹配的问题，但其效果始终不及 GHPO
  • 在某些基准（如 AIME2024 和 GPQA-Diamond）上，课程学习的性能甚至可能比原始 GRPO 更差
  • 课程学习的一个关键限制是：课程学习依赖于数据集的严格细粒度难度划分（这在实践中往往难以可靠实现）
  • 论文还研究了固定 Hints 的场景，结果显示其效果低于 GHPO
    • Qwen2.5-7B-GHPO-CL-H0.5 融入了固定 50% 的真实轨迹比例（针对困难问题），实验展示了标准课程学习的提升，从0.415 提升至 0.422（详情见表2），但其效果不如 GHPO

Training Dynamics

• 理解 GHPO 框架在训练期间的行为对于认识其优势至关重要
• 图 5 展示了奖励稀疏性的持续挑战：
  • 图5 显示了小批次中需要添加 Hints 以缓解此问题的比例
  • 在初始训练阶段，大多数问题对当前大语言模型来说过于困难（且这一趋势并未迅速减弱；）
  • 即使在后续训练阶段，约 60% 的问题仍超出模型当前能力 ，凸显了奖励稀疏性在强化学习过程中的普遍性
• 为了更深入理解 GRPO 和 GHPO 在训练期间的独特行为，论文仔细检查了四个代表性指标：
  • 格式奖励、准确率奖励、平均响应长度和梯度范数
• 这些动态如图 6 所示：
  • 格式奖励（Format Reward） ：GRPO 和 GHPO 两种算法在训练早期均达到了接近最大值的格式奖励，并始终保持高水平
  • 准确率奖励 ：GHPO 在所有训练阶段均表现出明显的准确率奖励优势
  • 平均响应长度 ：GRPO 和 GHPO 两种方法的平均响应长度均随时间稳步增加，但 GHPO 在后期生成的响应显著更长
  • 梯度范数 ：GHPO 的梯度范数始终显著小于 GRPO，表明其优化过程更平滑稳定
• 以上这些观察结果表明，GHPO 不仅任务性能更优 ，还能促进更详细的推理 ，并在训练过程中实现更稳定的优化轨迹

Generalization to Other Models

• 为了进一步证明论文方法的普适性和鲁棒性，论文使用更强大的基础模型 Qwen2.5-Math-7B 评估了 GHPO 的有效性
• 如表 2 所示，GHPO 始终能生成更强大的推理模型，其性能优于相同基础模型上应用的原始 GRPO 方法
• 这表明 GHPO 的适应性指导机制有效补充了高级预训练，为复杂推理任务提供了更高效的微调

Case Study

• 论文提供了一个详细案例研究，以说明 GRPO 和 GHPO 在解决一个特别困难的数学问题时的比较有效性
• 表 3 展示了该问题及其真实解答
  • 在原始 GRPO 框架下，模型通常无法生成正确的推理路径，导致奖励稀疏性问题
  • GHPO 通过智能使用 Hint 引导的输入解决了这一挑战
• 如表 4 所示，GHPO 通过将真实解答的前 50% 拼接至原始问题中，成功引导模型生成至少一条正确的推理路径
  • 标准 GRPO 训练生成的推理路径往往偏离真实解答，导致错误答案

Related Work

• RL 在提升 LLM 的推理能力方面取得了显著成功
  • DeepSeek-R1 (2025) 提出了一种纯强化学习范式，称为 Zero RL training，该方法使用简单但高效的 Rule-based 奖励模型直接从 Base LLM 进行训练
  • SimpleRL-Zoo (2025) 通过在不同基础模型和规模上进行全面的实证研究，进一步探索了 Zero RL 训练的行为模式
  • 一些变体方法通过优化底层机制或引入新设计元素，进一步推动了 Zero RL 训练的进展
  • DAPO (2025) 从策略优化目标的角度分析了 Zero RL 训练的核心机制（DAPO 并不是特别为 Zero RL 做的吧），并提出了四项关键技术，以提高 RL 训练的效率、稳定性和生成长链思维（Chain-of-Thought, CoT）的能力
  • Dr. GRPO (2025) 提出了一种无偏优化方法，从原始 GRPO 公式中移除了长度和标准差惩罚项，从而在保持强大推理性能的同时提高了标记效率
  • LUFFY (2025) 通过将 Off-policy 推理演示与在策略 Zero RL 训练相结合，平衡模仿与探索，使 LLM 能够超越其固有能力的边界
  • VAPO (2025) 提出了首个 value-model-based RL 训练框架（之前的都是 value-model-free），整合了七项创新技术以提升训练稳定性和整体性能
• 以上这些研究推动了 RL 在 LLM 训练中的应用，但奖励稀疏问题在复杂推理任务中仍然是一个持续存在的挑战
  • 课程学习（Curriculum Learning, CL）(2025) 通过逐步引入更复杂的样本来对齐任务难度与模型能力
  • DAPO (2025) 采用动态采样过滤掉模型认为过于简单或困难的问题
• 这些方法可能会丢弃大量有价值的训练数据
• 论文提出的 GHPO 方法通过自适应难度检测和 Prompt 优化机制，充分利用所有训练数据，提供了一种更高效且稳健的解决方案

附录 A：Supplementary Case

• 详情见原文