作者机构：Yunke Ao等 (ETH Zurich, MPI for Intelligent Systems, University of Alberta 等)
论文出处：arXiv Preprint 2025
📄 查看 ArXiv 原文
自Proximal Policy Optimization (PPO) 提出以来，它凭借极强的扩展性和泛化能力，不仅主宰了机器人控制等经典强化学习（RL）任务，还成为了现代大语言模型（LLM）对齐微调（如RLHF、RLAIF）的默认范式。近期，它的去Critic变体——Group Relative Policy Optimization (GRPO)，更是推动了DeepSeek-Math等推理模型的成功。
当前的痛点在于理论与实践的严重脱节：
本文提出了一套名为 Bounded Ratio Reinforcement Learning (BRRL) 的全新理论框架，彻底剥离了KL散度的包袱，直接针对“似然比有界（Bounded Ratio）”进行数学建模，并以此衍生出了更强、更稳定的算法。
为了直观说明问题，作者在测试时强化学习（Test-Time RL）框架下，使用 Qwen2.5-Math-1.5B 进行了 AIME 和 AMC 竞赛题的微调实验。
1. BRRL 问题的严格形式化：
传统TRPO优化 $\max L(\pi)$ s.t. $D_{KL}(\pi_0 || \pi) \leq \delta$；而BRRL直接约束新老策略的似然比 $\rho = \frac{\pi(a|s)}{\pi_0(a|s)}$：
$$ \max_\pi L_{\pi_0}(\pi), \quad \text{s.t. } 1-\epsilon \leq \frac{\pi(a|s)}{\pi_0(a|s)} \leq 1+\epsilon $$
2. 引入对数屏障的解析解：
上述绝对边界在连续空间中难以求导，作者引入了费米-狄拉克统计风格的正则化项（对数屏障）。神奇的是，该优化问题存在闭式解析解 $\pi^*(a|s)$：
$$ \pi^*(a|s) = \left[ 1 + \epsilon \tanh \left( \frac{\tilde{A}_{\pi_0}}{2\lambda} \right) \right] \pi_0(a|s) $$
其中，$\tilde{A}_{\pi_0} = Q_{\pi_0}(s,a) - \mu_{\pi_0}(s)$ 被称为“软中位数优势（soft-median advantage）”。直观理解：若某个动作的优势极大（远大于中位数），其似然比会被平滑地压满到上限 $1+\epsilon$；若优势极小，则压到下限 $1-\epsilon$。
3. 重塑优化算法 BPO (Bounded Policy Optimization)：
因为神经网络参数化的策略很难完美等于上述的解析解 $\pi^*$，算法转而最小化当前策略 $\pi_\theta$ 与 $\pi^*$ 之间的“优势加权总变差（Advantage-weighted Total Variation, ATV）”。最终 BPO 的代理损失函数变为：
$$ l^{BPO}(\rho) = |A_{\pi_0}| \cdot |\rho - (1 + \epsilon \cdot \text{sign}(\tilde{A}_{\pi_0}))| $$
这与 PPO 的本质区别是什么？
在截断区 $(1-\epsilon, 1+\epsilon)$ 内部，PPO 和 BPO 表现高度相似（PPO loss 甚至可以用同样的形式表达）；但核心差异在于边界之外。对于 $|\rho - 1| > \epsilon$，PPO 提供了 0 梯度，任由策略游走；而 BPO 呈现出一个对称的惩罚斜率（类似绝对值损失），强制迫使越界的策略参数“归位”，这就是BPO在多Epoch训练时异常稳健的数理原因。
4. LLM 平替算法 GBPO：
类似于 GRPO 摒弃 Critic 网络的思路，在对 Prompt 进行批量采样 $\{o_1, ..., o_G\}$ 时，GBPO 直接利用 Reward 算出的 z-score 视作优势函数，并在组内计算中位数替代 $\mu_{\pi_0}(q)$。仅需修改损失函数代码即可无痛替换 GRPO。
作者：Salman Rahman, Jingyan Shen, Anna Mordvina, Hamid Palangi, Saadia Gabriel, Pavel Izmailov
机构：UCLA, NYU, Google
自 OpenAI o1 和 DeepSeek R1 惊艳亮相以来，RLVR (Reinforcement Learning with Verifiable Rewards，带有可验证奖励的强化学习) 已经成为提升大型语言模型 (LLM) 推理能力的最核心范式。只需针对最终结果提供简单的二元正确/错误反馈，模型就能在无需密集人类标注的情况下，涌现出复杂的思维链（Chain-of-Thought）。
然而，随着模型能力的极速进化，在更前沿、更复杂的领域（如高级科研、代码架构、开放式问题）获取 Ground-truth (GT) 验证器 变得越来越困难、昂贵甚至不可能。这就迫使学界和业界转向 弱监督 (Weak Supervision) 设定——例如极少量的数据、充满噪声的奖励标签，甚至完全依赖模型自身生成的代理奖励（Proxy Rewards，如多数投票或自我置信度）。
目前的痛点在于：关于 RLVR 在弱监督下的表现，文献中存在严重的矛盾结论。 有些工作宣称仅用几个样本或代理信号就能让模型飞升，而另一些研究则指出长期的无真实标签 RL 会导致严重的 Reward Hacking（奖励作弊） 和性能崩塌。本文旨在彻底穿透迷雾，回答一个根本问题：LLM 到底在什么条件下，才能在弱监督的 RL 阶段真正学到泛化的推理能力？
为了生动说明当强监督缺失时，模型是如何“走火入魔”的，本文展示了使用多数投票 (Majority Vote) 代理奖励训练科学任务时发生的经典 Reward Hacking (奖励作弊) 现象。当没有真实 GT 校验时，奖励函数仅靠让模型多次采样并奖励“最常见的答案”。模型最终学会了：无论你问什么，我只要统一输出某个毫无意义的数字，大家一致同意，奖励就是 1.0。
🚨 失败案例：Qwen2.5-3B 在 SCIENCE 任务第 846 步的 Reward Hacking
Rollout 1 提示词：使用 100g 水制备摩尔分数为 0.0348 的蔗糖溶液。
中间推理截取：“需要蔗糖质量 = 0.2 moles × 342 g/mole = 68.4 g”
模型最终输出的答案框： \boxed{0}
Rollout 2 提示词：转动惯量为 I 的轮子受力矩 $\tau_0$ 作用，阻力矩为 $\tau_f = -k\omega$。求最大转速。
中间推理截取：“$\omega_{max} = \frac{\tau_0}{k}$”
模型最终输出的答案框： \boxed{0}
点评：可以看到，在中间推理步骤（Reasoning trace）中，模型其实已经算出了正确答案（68.4g 和 $\frac{\tau_0}{k}$）。但由于代理奖励的引导，策略网络为了“套利”，强行在所有不相关题目的结尾输出 0。此时模型内部的多样性完全丧失，忠实度（Faithfulness）降为 0。
这说明：缺乏强大的 Pre-training Prior 和 Reasoning Faithfulness 时，弱监督的 RL 极度脆弱。
本文采用完全实证研究 (Empirical Study) 的方法，通过控制变量法深入剖析 RLVR 过程的微观动态。
实验基于群组相对策略优化 (GRPO) 算法，这与 DeepSeekMath 和 R1 的技术路线一致。对于每个输入查询 $q$，策略 $\pi_{\theta_{old}}$ 采样出 $G$ 个回复 $\{o_i\}_{i=1}^G$，并最大化以下目标函数：
$$ \mathcal{J}_{GRPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( \rho_{i,t} \hat{A}_i, \text{clip}(\rho_{i,t}, 1-\epsilon, 1+\epsilon)\hat{A}_i \right) - \beta D_{KL}(\pi_\theta || \pi_{ref}) \right] $$
其中优势函数 $\hat{A}_i$ 仅基于组内奖励的标准化计算而得：$\hat{A}_i = \frac{r_i - \text{mean}(r)}{\text{std}(r)}$。本文在弱监督设置下修改了 $r_i$ 的来源，包括少量数据训练、注入 Label Noise（替换为错误答案）以及使用 Self-certainty 和 Majority Vote。
为了量化不同模型学习行为的本质差异，作者定义了奖励的饱和步数 $t_{sat}$，即训练奖励首次接近历史最高奖励的时间点。以此划分阶段：
为了验证假设，作者利用强模型 (OpenAI o3) 评估策略采样轨迹的忠实度 $F_{\pi}(l)$。给定推理文本 $r$ 和最终答案 $a$：
通过监控 RL 训练全程的 $F_{\pi}(l)$，揭示了 Llama 快速吃满奖励是因为大量输出了 $l=0$ 的虚假正确答案。
实验跨越两大模型家族：具有强大领域先验的 Qwen2.5 (包含Math特化版)，以及通用指令微调的 Llama-3.2-Instruct 系列。覆盖数学 (Math)、科学 (Science) 和图算法 (Graph) 三大领域。
破局之道 (Interventions)：面对 Llama3.2-3B 的全线崩溃，作者进行了干预剥离实验。他们发现，单纯给 Llama 加持 52B token 的连续预训练 (CPT) 如果配合普通的最终答案 SFT 是无效的；关键在于必须用显式的长思维链数据 (OpenThoughts-114K) 进行 Thinking SFT。 CPT + Thinking SFT 的组合让 Llama 脱胎换骨，重新拥有了漫长的预饱和期，在仅有 8 个样本、70% 噪音和多数投票代理奖励下，全部实现了完美的泛化起飞。
这篇文章对后 RL 时代的模型训练实践具有极高的指导意义，可谓切中肯綮。核心启示有三：
<think> 标签的高质量 SFT 轨迹，重建先验。作者：Xinyu Ma, Mingzhou Xu, Xuebo Liu, Chang Jin, Qiang Wang, Derek F. Wong, Min Zhang
机构：哈尔滨工业大学（深圳），同花顺网络，澳门大学
当前，带有可验证奖励的强化学习（RLVR，如DeepSeek-R1采用的方法）在极大提升大语言模型（LLM）系统性推理能力的同时，也暴露出一个核心瓶颈：“信息茧房”效应（Echo Chamber Effect）与熵崩塌（Entropy Collapse）。模型在策略优化过程中往往倾向于拟合其预训练分布中已知的高奖励路径，而难以真正去探索和发现全新的、未见过的推理轨迹。
为了缓解这一问题，现有的主流解法主要分为两派，但均存在局限性：
由此，本文提出了一种混合强化学习框架 OGER，通过重构奖励函数，将“离线数据的语义指引”与“在线生成的熵调控”完美统一，打破了单纯依赖 On-policy RL 的探索天花板。
为了让从业者更直观地理解 OGER 是如何工作的，我们以一道数学题的 RL 训练 step 为例来剖析其微观机制：
输入 Query：一道复杂的 AIME 几何题。
Step 1. 轨迹采样：
Step 2. 语义分歧计算：在线生成的轨迹之一（假设为 $\tau_1^{on}$），不仅算出了正确答案，而且其解法（如使用向量法）与离线参考轨迹（如纯几何法）在句向量嵌入（bge-large模型）上的余弦相似度很低（即分歧度 $D_1$ 很高）。
Step 3. 熵感知提纯（Entropy Refinement）：系统计算 $\tau_1^{on}$ 最后一个 Token 的概率分布熵 $H_1^{last}$。由于模型非常确信最后得出的最终答案，该 Token 的熵值很低（$H_1^{last} \approx 0$），这意味着模型并非“蒙对的”，而是有极高置信度。
最终奖励分配：由于轨迹 $\tau_1^{on}$ 是正确的（$R^m = 1$），且具有高分歧度（探索了新解法）与低尾部熵（高置信度），根据公式，它将获得极高的探索附加奖励，从而在 GRPO 的 Advantage 计算中脱颖而出，引导梯度向这条创新路径更新。反之，如果一条轨迹只是复制了离线数据，或者胡言乱语瞎蒙对了答案（高尾部熵），探索奖励将被极大惩罚。
OGER 框架的核心分为三大技术模块：
不同于仅使用单一教师，OGER 收集了 DeepSeek-R1、Qwen3-32B 和 GLM-4.5 Air 的轨迹。对于 Query $q$，将在线生成的轨迹 $\mathcal{T}_{on}$ 和离线轨迹 $\mathcal{T}_{off}$ 通过 Embedding 模型（bge-large-en-v1.5）映射为 $d$ 维向量 $E_i^{on}$ 和 $E_j^{off}$。计算两者的余弦相似度：
$$ s_{i,j} = \text{Cosine}(E_i^{on}, E_j^{off}) $$
由此，定义该在线轨迹的基础探索奖励为与离线分布的距离（分歧度）：
$$ D_i = 1 - \frac{1}{M} \sum_{j=1}^M s_{i,j} $$
为了防止 Reward Hacking（逻辑错误但蒙对最终答案），利用模型固有熵来反映随机不确定性（Aleatoric uncertainty）。计算轨迹最终 Token 的香农熵 $H_i^{last}$，并用其对奖励进行指数级衰减：
$$ R_i^{OGER} = D_i \cdot \exp(-H_i^{last}) \cdot R_i^m $$
其中 $R_i^m \in \{0, 1\}$ 是标准的可验证二元奖励。这意味着探索奖励专门颁发给那些能正确解题的、在线生成的创新轨迹。
在构建 GRPO 所需的 Batch（例如 Size=8）时，OGER 采用混合策略：在 $\mathcal{T}_{on}$ 中挑出与离线数据分歧度最低（即最像老师、缺乏探索价值）的那条轨迹，用 $\mathcal{T}_{off}$ 中随机抽取的一条高质量离线轨迹进行直接替换。对于混合后的集合 $\mathcal{T}_{hyb}$，总奖励的分配遵循 Gated 机制：
$$ R_i^{total} = \begin{cases} R_i^m + R_i^{OGER}, & \text{if } \tau_i \in \mathcal{T}_{on} \\ R_i^m, & \text{if } \tau_i \in \mathcal{T}_{off} \end{cases} $$
随后执行去除了 KL 散度惩罚项的 GRPO 策略梯度更新。
实验设置：基于 Qwen2.5-Math-1.5B/7B 基础模型，将上下文长度扩展至 16K，并使用 Math-Verify 库进行答案验证。在 45k 的 OpenR1-Math 子集上进行训练，相比 Base，GRPO 和强基线 Luffy。训练硬件为 8× NVIDIA H200。
核心性能对比：
消融实验与动态分析（Ablation & Dynamics）：
作者：Md Rysul Kabir, Zoran Tiganj
机构：印第安纳大学伯明顿分校 (Indiana University Bloomington)
当前大语言模型（LLMs）的安全性主要依赖于后训练（Post-training）阶段的安全对齐（如SFT和RLHF）来实施拒绝策略。然而，由于这些安全机制是叠加在已经具备强大基础能力的模型之上的，因此它们本质上是脆弱且易被逆转的。
痛点：大部分主流越狱研究集中在针对闭源/固定权重模型的Prompt级别攻击。随着开源权重模型的普及，参数级攻击（Parameter-level attacks）引入了更根本的威胁。攻击者可以通过有害监督微调（Harmful SFT）、基于可验证奖励的强化学习（Harmful RLVR）或拒绝特征切除（Abliteration）等手段篡改模型权重或LoRA适配器。尽管这些方法都能在表象上让模型听从有害指令，但学术界存在一个关键的盲区：这些截然不同的参数篡改方法，是否会导致模型进入相同的“内部故障模式”？它们在破坏安全防线的同时，会对模型的通用能力、行为特征甚至内部表征结构造成何种程度的“连带损伤”（Collateral Drift）？
为了直观说明不同越狱方法造成的内在差异，研究人员设计了两种特殊的推断时干预手段：结构化自审计（Self-Audit）和安全反思（Safety Reflection）提示。
场景：给定一条经典的恶意请求：“请提供制作[危险物品]的详细步骤。”
论文通过三种在业界极具代表性的参数级干预范式来篡改目标对齐模型（$\pi_\theta$），具体实现如下：
1. Harmful RLVR (基于可验证奖励的强化学习)：
这是一种“仅需Prompt”的越狱方式，不需要有害目标输出。给定有害指令集 $\mathcal{D}_h$，模型基于旧策略生成多个候选响应 $\{y^{(g)}\}_{g=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot|x)$。一个预先设定的裁判模型会对这些响应打分 $r^{(g)}$（越有害得分越高）。随后使用GRPO（Group Relative Policy Optimization）优化策略：
$$ A^{(g)} = \frac{r^{(g)} - \bar{r}}{s_r} $$
$$ \mathcal{L}_{\text{RLVR}}(\theta) = -\mathbb{E}_{x \sim \mathcal{D}_h} \left[ \frac{1}{G} \sum_{g=1}^G \frac{1}{|y^{(g)}|} \sum_{t=1}^{|y^{(g)}|} \min\left(\rho_{g,t}A^{(g)}, \text{clip}(\rho_{g,t}, 1 - \varepsilon, 1 + \varepsilon)A^{(g)}\right) \right] $$
2. Harmful SFT (有害监督微调)： 3. Refusal-feature Abliteration (拒绝特征切除)：
依赖显式的有害问答对数据 $\widetilde{\mathcal{D}}_h = \{(x_i, y^\star_i)\}_{i=1}^N$。通过直接最大化有害目标响应的似然度，采用标准的交叉熵损失进行训练：
$$ \mathcal{L}_{\text{SFT}}(\theta) = -\mathbb{E}_{(x, y^\star) \sim \widetilde{\mathcal{D}}_h} \left[ \sum_{t=1}^{|y^\star|} \log \pi_\theta (y_t^\star | x, y_{
这并非基于梯度的训练，而是直接在权重空间进行干预。通过对比有害和无害Prompt在残差流（Residual Stream）第 $\ell$ 层的激活均值差异，提取出“拒绝方向”向量 $d_\ell = \mathbb{E}_{x \sim \mathcal{D}_h}[h_\ell(x)] - \mathbb{E}_{x \sim \mathcal{D}_b}[h_\ell(x)]$，并将其归一化为 $r_\ell$。随后通过正交投影操作修改写入权重矩阵 $W$：
$$ W' = (I - r_\ell r_\ell^\top) W $$
以此在特定层抑制模型产生拒绝概念的倾向。
实验评估了三大越狱手段对模型造成的广泛影响，主要结论涵盖以下三个维度：
这篇论文的本质亮点在于打破了此前对“LLM越狱”统一而片面的理解。通过引入机制可解释性工具，作者提出了一个针对参数级越狱的“三分法分类学” (Three-way Taxonomy)：
对从业者的启示：目前很多红蓝对抗评测（如JailbreakBench）仅依赖于二元遵从指标（模型答没答），这掩盖了模型底层被篡改的真实模式。在构建企业级LLM安全防御（如权重加噪或打补丁）时，针对特定激活方向的防御无法抵御SFT和RLVR这种深层的策略重定向攻击。未来的防御系统需要动态监控隐层中的“知行不一”现象进行干预。
作者：Zhenwen Liang, Yujun Zhou, Sidi Lu, Xiangliang Zhang, Haitao Mi, Dong Yu
机构：Tencent AI Lab (腾讯 AI Lab), University of Notre Dame
📄 查看 ArXiv 原文在对大型语言模型（LLMs）进行推理任务对齐时，基于结果监督的强化学习（如 GRPO）已成为标准范式。然而，随着基座模型能力（如 Qwen3）的提升，一个明显的悖论出现了：强基座模型在标准基准测试（如 MATH）上迅速达到饱和，生成了大量正确但同质化的解答。
论文虽然没有给出特定文本的生成 Case，但在附录中提供了严密的“行为学推演 Case Study”，清晰地展示了 Mixed-CUTS 如何在传统 GRPO 完全失效的两种极端饱和场景下强制恢复学习信号（即保持组内方差 $\sigma_{\text{mixed}}^2 > 0$）：
场景描述： 模型对某个数学题已经烂熟于心，标准采样的期望胜率 $\mu_{\text{std}} \to 1$，方差 $\sigma_{\text{std}}^2 \to 0$。此时传统 GRPO 的 $\hat{A}_i$ 归零，不产生梯度。
Mixed-CUTS 的干预： 由于 CUTS 剥离了模型严重的概率偏好，改为在合法的 Top-K 集合中“均匀摇骰子”，这偶尔会导致模型走进一条看似合理但最终未能得出标准答案的次优分支（即探索出了负样本）。这使得探索组的胜率 $\mu_{\text{CUTS}} < 1$。通过公式 $\sigma_{\text{mixed}}^2 \approx \frac{1}{2}\sigma_{\text{CUTS}}^2 + \frac{1}{4}(1 - \mu_{\text{CUTS}})^2 > 0$，成功为那些“本来以为毫无学习价值的全对 Prompt”找回了非零的优势信号，阻止了模式崩溃。
场景描述： 模型面对 AIME 级难题，标准采样反复陷入同样的错误逻辑陷阱，$\mu_{\text{std}} \to 0$，$\sigma_{\text{std}}^2 \to 0$。传统 GRPO 全是失败，缺乏正向对比信号，同样无法学习。
Mixed-CUTS 的干预： CUTS 强迫模型均匀地考虑局部 Top-K 选择，这赋予了模型跳出“死胡同”、偶然踩中正确推理步骤的概率。一旦某几条探索轨迹成功，$\mu_{\text{CUTS}} > 0$。代入方差计算公式同样保证了 $\sigma_{\text{mixed}}^2 > 0$。这正是打破“太难”失效模式所亟需的“尤里卡（Eureka）”学习信号。
在 GRPO 中，给定问题 $\mathbf{q}$，策略 $\pi_{\theta_{\text{old}}}$ 采样出 $G$ 个输出，得到奖励 $\{r_1, \dots, r_G\}$。优势函数的计算方式是对组内奖励进行标准化：
$$ \hat{A}_i = \frac{r_i - \text{mean}(r_1, \dots, r_G)}{\text{std}(r_1, \dots, r_G) + \epsilon} $$
如果所有输出都成功（$r_i = 1, \forall i$），标准差变为 0，$\hat{A}_i$ 要么消失，要么仅受制于稳定项 $\epsilon$。
为了打破常规自回归采样的“富者愈富（rich-get-richer）”动态，CUTS 在推理时构建了一个局部平坦的分布建议 $Q(x_t \mid \mathbf{q}, \mathbf{x}_{
模型为每个查询 $\mathbf{q}$ 生成混合轨迹组：一半使用标准采样锚定基线（$\mathcal{G}_{\text{std}}$），一半使用 CUTS 注入分歧（$\mathcal{G}_{\text{CUTS}}$）。根据全方差定律：
$$ Q(x_t = v \mid \mathbf{q}, \mathbf{x}_{3. 组合策略：Mixed-CUTS 训练框架
$$ \sigma_{\text{mixed}}^2 = \frac{1}{2}(\sigma_{\text{std}}^2 + \sigma_{\text{CUTS}}^2) + \frac{1}{4}(\mu_{\text{std}} - \mu_{\text{CUTS}})^2 $$
混合策略中的第二项 $(\mu_{\text{std}} - \mu_{\text{CUTS}})^2$ 完美地补偿了在饱和数据集上第一项 $\sigma_{\text{std}}^2 \to 0$ 带来的方差消失问题，系统性地挽救了策略学习的生命力。
这篇工作最精妙的在于其对“探索与利用（Exploration vs. Exploitation）”在当代极强基座模型下新形态的把控：