⚙️ 方法论与技术实现

LPO 将传统 RLVR 中纠缠不清的梯度推导，拆解为清晰的两步过程：Target（寻找目标）和 Projection（投影）。

1. Listwise 分布的定义：
对于输入 $x$，当前策略 $\pi_\theta$ 相对于行为策略 $\pi_b$ 偏好第 $k$ 个响应 $y_k$ 的程度被定义为一个单纯形上的概率向量 $P_\theta$：
$$ P_{\theta,k} = \text{softmax}(s_\theta)_k, \quad \text{其中} \quad s_{\theta,k} = \log \frac{\pi_\theta(y_k|x)}{\pi_b(y_k|x)} $$ 作者指出，在“同策略（On-policy）”点上，GRPO 梯度实际上等价于对目标 $w^* = \text{softmax}(A)$ 做逆 KL 散度的负梯度。

2. 步骤一：显式目标构建 (Target Induced on the Simplex)：
摒弃隐式近似，LPO 基于 Proximal RL 目标，给出一个闭式解作为显式目标分布 $w^*$：
$$ w^*_k = \text{softmax}(\phi)_k, \quad \text{其中} \quad \phi_k = \frac{R_k}{\tau} + s_{t,k} $$ 这里 $\tau$ 取代了生硬的奖励归一化缩放系数，恢复了其作为“温度（Temperature）”和信赖域控制的本质身份。

3. 步骤二：解耦的策略投影 (Projection for Policy Optimization)：
既然目标 $w^*$ 和当前分布 $P_\theta$ 都在离散单纯形上，我们就可以采用任意散度计算精确投影损失。文中实现了两种代表性散度：

• Forward KL ($D_{\text{KL}}(w^* \| P_\theta)$): 梯度权重极其简洁，为 $c_k^{\text{fwd}} = P_{\theta,k} - w^*_k$。
• Reverse KL ($D_{\text{KL}}(P_\theta \| w^*)$): 梯度权重为 $c_k^{\text{rev}} = P_{\theta,k}(d_k - \bar{d})$，其中 $d_k$ 是当前 logit 与目标 logit 的差异，$\bar{d}$ 是期望差异。

4. LPO 的黄金数学性质：
由于在 Listwise 单纯形上计算，得到的梯度系数天然满足 (a) 有界性： $|c_k| \le 1$ 或 $|c_k| \le 2$，这使得模型在极端 Reward 面临“梯度爆炸”免疫；(b) 零和性： $\sum_k c_k = 0$，这是绝佳的内置控制变量（Control Variate），自适应实现基线对齐（Baseline-subtraction），无需引入额外的 Value 模型；(c) 模式覆盖（仅限 Forward KL）： 具备保底下界，防止概率被压缩到0，从而保持探索的多样性。

⚙️ 方法论与技术实现 (Methodology)

传统的 GRPO 优势函数是对同一 Prompt 下生成的 $G$ 个样本的奖励（$0$或$1$）直接进行 Z-Score 标准化。这种做法是对称的，且会过度奖励那些在当前策略下已经具备高置信度（即容易被采样到）的“平凡正确路径”。

AGPO 的核心是将优势函数的计算进行非对称解耦（Asymmetric Decoupling），其优势函数定义如下：

• 门控负项 (Gated negative term): 通过常数 $\mathcal{R}$（实验中设为 $-1$），为所有错误输出提供稳定、强力的负向惩罚。即使组内所有输出均错误，也能确保模型持续修剪错误搜索空间。这构成了 AGPO “NSR (负反馈) 主导”的特性。
• 受限组相对项 (Constrained group relative term): 对于正确的采样路径（$r_i=1$），其正向优势不再是固定的，而是受到 $\mu$（组内正确率）和 $\sigma$（标准差）的调节。当某个 Prompt 极易答对时（即所有样本都对，$\mu \to 1, \sigma \to 0$），正向优势会被压缩至 $0$（由于 $\delta$ 的存在不会除零异常）。
• 方差正则化因子 $\delta$: $\delta$ 作为一个平滑参数，限制了奖励振幅，有效防止了正样本更新引发的概率分布过度锐化（Over-sharpening）。

优化机理总结： AGPO 实现了一种“难例重赏、易例零干预”的聪明机制。对于模型已经掌握的简单问题，停止注入正梯度；对于偶尔碰对的 rare correct paths（$\mu$ 极低），给予最高奖励；而无论何时，坚决打压错误路径。这极大地保护了策略输出的熵值，使得模型在持续优化的同时保留了广阔的解空间探索能力。

LOPE 的技术流水线由以下几个核心步骤构成，尤其是在 RL 梯度修正上做得非常细腻：

1. 扰动重采样 (Rollout with Perturbation)：当标准 Policy $\pi_{\theta_{old}}(o \mid p, q)$ 生成的 $G$ 个样本全错时，引入随机采样的 Lorem Ipsum $\delta$，拼接得到 $\delta \oplus p$。基于新 Prompt 采样 $G'$ 个（$G'=24$）新响应。
2. 构造伪 Rollout 组合 (Construct Pseudo Rollout)：从重采样中挑出 $c$ 个回答正确的样本。为了防止因输入上下文（$\delta \oplus p$ 与 $p$）不一致导致的 Advantage 估算偏差，LOPE 强行将这些正确响应的 Prompt 替换回原始的 Naive prompt $p$，并与原始的错误样本混合，凑成新的 batch（大小仍为 $G$），使得一个 batch 内部既有对又有错，激活有效的 relative advantage。
3. 重要性采样修正 (Importance Sampling)：因为用 $\delta \oplus p$ 采样的输出放在了 $p$ 下训练，构成了典型的 Off-policy 场景。因此，需要计算重采样响应的重要性采样率：
   $\rho_{i,t} = \frac{\pi_\theta(o'_{i,t} \mid p, q, o'_{i,
4. 🔥 训练信号塑形 (Training Signal Shaping)：这是保证 LOPE 能收敛且起效的灵魂技术：
   • Policy Shaping (策略塑形)：Off-policy 下，模型对刚探索出来的罕见正确推理 token 赋予的概率 $\pi_\theta$ 极低，导致梯度消失。引入塑形函数 $f(\rho_{i,t}) = \frac{\rho_{i,t}}{\rho_{i,t} + \gamma}$（$\gamma=0.1$），强行放大这些低概率（但在探索中被证明有效）token 的梯度权重。
   • Advantage Shaping (优势塑形)：如果在 $G$ 个提取出来的样本内算 advantage，会严重低估该题目的难度（因为那是从上百个废样本里淘出来的）。LOPE 改为在完整的 $G + G'$ 个样本池中计算标准化统计量：
     $\hat{A}_i = \frac{r_i - \text{mean}(\mathbf{r}_{\text{all}})}{\text{std}(\mathbf{r}_{\text{all}})}$。这使得那些在硬核题目中来之不易的正确尝试，能获得 2.1 倍到 5.0 倍的 Advantage 放大，提供更猛烈的正向训练信号。

最终优化目标：包含了标准 GRPO 的 On-policy 失败样本更新，以及经过 $f(\rho_{i,t})$ 修正和 $\hat{A}_i$ 放大的 Off-policy 重采样成功样本更新。

方法论与技术实现 (Methodology)

LANTERN 框架分为五个关键阶段，将宏观的符号推理与微观的神经网络TD更新解耦并重新融合：

Phase 1: LLM增强的自动机生成

给定目标任务语言描述 $\mathcal{T}_{desc}$，通过构建结构化Prompt，引导大语言模型 $\mathcal{L}$ 提取子目标、时序依赖，生成目标DFA $\mathcal{D}^{tgt}$。更重要的是，LLM需要为每个自动机状态 $\omega \in \Omega^{tgt}$ 生成语义描述 $\text{desc}^{tgt}(\omega)$。这为后续异构迁移奠定了文本空间的基础。

Phase 2: 语义嵌入与邻域构建

使用文本嵌入模型（如Sentence-BERT）计算自动机状态描述的嵌入：$\phi(\omega) = \mathcal{E}(\text{desc}(\omega)) \in \mathbb{R}^d$。
目标状态 $\omega^{tgt}$ 与源任务状态 $\omega_k^{src}$ 之间的语义相似度通过余弦相似度计算： $$ \text{sim}(\omega^{tgt}, \omega_k^{src}) = \frac{\phi(\omega^{tgt})^\top \phi(\omega_k^{src})}{\|\phi(\omega^{tgt})\| \|\phi(\omega_k^{src})\|} $$ 基于此，选取Top-M相似的源状态组成语义邻域 $\mathcal{N}_M(\omega^{tgt})$，并计算归一化权重 $w(\omega^{tgt}, \omega_k^{src})$。

Phase 3: 多源知识聚合 (Multi-Source Aggregation)

LANTERN 同时聚合战略层（Strategic, 自动机级别的长期价值）与战术层（Tactical, 动作级别的策略分布）：

• 战略聚合： $Q_{AD}^{agg}(\omega^{tgt}) = \sum w(\dots) Q_{k, AD}(\omega_k^{src})$
• 战术聚合： $\pi_{teacher}^{agg}(a|s, \omega^{tgt}) = \sum w(\dots) \pi_k^{teacher}(a|s_k, \omega_k^{src})$

Phase 4: 双重波动经验门控 (Dual-Volatility Experience Gating)

如何决定学生何时该“独立思考”，何时该“抄作业”？LANTERN引入了复合信任门控：

• 经验波动率（Experience Volatility）： 追踪TD误差的指数移动平均 $V_t^{exp}(s,a)$。波动率高代表学习不稳定，此时应依赖教师。
• 语义波动率（Semantic Volatility）： 量化目标状态与最优源状态之间的“语义错位”：$V^{sem}(\omega^{tgt}) = 1 - \max \text{sim}(\omega^{tgt}, \omega_k^{src})$。
• 两者通过Sigmoid转换为信任系数 $\tau_{exp}$ 和 $\tau_{sem}$，最终门控值 $\tau = \tau_{exp} \times \tau_{sem}$。即只有在学习不稳定 且 语义高度对齐时，才给予教师强权重。

Phase 5: LANTERN 统一更新规则

学生网络的Q-learning更新公式整合了上述多源指导 $G_{multi}$（包含战略激励与战术KL散度惩罚）： $$ \Delta Q = \alpha \left[ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} \right] $$ 当 $\tau \to 1$ 时，退化为标准TD更新（学生主导）；$\tau \to 0$ 时，完全受教师指导。

4. 方法论与技术实现 (Methodology & Implementation)

4.1 理论基础：响应级熵几何学 (Response-Level Entropy Geometry)

在 Agentic RL 中，环境状态的转移通常发生在智能体生成完整的一段回复 (Response) 之后，因此有效的动作粒度是响应级别而非 Token 级别。为此，作者定义了响应级惊奇度 $S(a_t | s_t) := -\log \pi_\theta(a_t | s_t)$ 以及响应级香农熵 $\mathcal{H}_{\text{resp}}(s_t)$。

基于自然梯度 (Natural Gradient) 理论，作者推导出了固定占据度下的熵漂移定理：
$$ D_{\text{RL}}^{\text{resp}}(a; s) := \left\langle \text{grad}^F \mathcal{H}_{\text{resp}}(\pi), \text{grad}^F \ell_a(\pi) \right\rangle_{\text{Fisher-Rao}} = A(a, s) \left( S(a | s) - \mathcal{H}_{\text{resp}}(s) \right) $$

该公式揭示了一个深刻的结论：策略更新时的熵增减，完全由“采样响应的 Advantage $A(a,s)$” 与“相对惊奇度 $(S - \mathcal{H}_{\text{resp}})$”乘积的符号决定。

4.2 自适应熵调制机制 (AEM Mechanism)

既然内部熵反映了探索潜力，AEM 通过缩放 Advantage 来人为干预这一过程。由于真实状态下的确切熵值 $\mathcal{H}_{\text{resp}}(s_t)$ 难以精确计算，AEM 采用了一个基于 Group 的可预测代理并进行长度归一化：

1. 计算响应级熵代理：$\bar{\mathcal{H}}_{i,t} = \frac{1}{|S_{i,t}|} \sum_{\ell \in S_{i,t}} \mathcal{H}_\ell(a_t, s_t)$
2. 对同一 Prompt 生成的多个轨迹组 $\mathcal{G}$ 内进行 Min-Max 归一化，得到 $\tilde{\mathcal{H}}_{i,t}$。
3. 利用温度参数 $\lambda$ 转化为自校准的调制权重：
$$ \alpha_{i,t} = \frac{\exp(-\lambda \tilde{\mathcal{H}}_{i,t})}{\frac{1}{|\mathcal{G}|} \sum \exp(-\lambda \tilde{\mathcal{H}}_{j,n}) + \varepsilon} $$
4. 最终应用到基础 Advantage 上：$A_{i,t}^{\text{AEM}} = \alpha_{i,t} A_{i,t}^{\text{base}}$

4.3 隐式的探索-利用转变 (Exploration-Exploitation Transition)

AEM 能够自适应地产生 Phase Transition：

• 早期探索 (Exploration)： 训练早期，多数交互失败，$A(a,s) < 0$。此时 AEM 加大对低惊奇度（模型自信但错误）样本的梯度更新，产生强大的“熵增”压力，强制模型打破现有次优置信区间，积极探索。
• 后期利用 (Exploitation)： 随着训练推进，成功样本增多，$A(a,s) > 0$。此时 AEM 放大对低惊奇度（自信且正确）样本的更新，产生“熵减”压力，推动策略快速收敛。