大模型 Agent 与强化学习 (RL) 深度学术解读报告

⚙️ 方法论与技术实现 (Methodology)

相较于将检索惩罚融入奖励函数，AdaSearch 选择将解题能力 (Problem solving)与检索决策能力 (Decision making)解耦，分为独立的两阶段 RL 进行优化，基础算法采用 GRPO。

Stage 1: Problem Solving (解题能力优化)

目标是激发模型利用 (1) 内部参数知识 和 (2) 外部搜索工具解决问题的上限。训练时为同一个问题 \(x\) 分配两种系统提示词 \(s_{\text{param}}\) (仅靠内部知识) 和 \(s_{\text{search}}\) (可使用搜索工具)，生成两组 Rollouts: \(\mathcal{R}_{\text{param}}\) 和 \(\mathcal{R}_{\text{search}}\)。Reward 极其纯粹，仅看最终答案的 Exact Match (EM)：

\[ R(\tau, y) = \begin{cases} 1.0 & \text{if EM} = \text{true}, \\ 0 & \text{otherwise}. \end{cases} \]

Stage 2: Decision Making (决策能力优化)

目标是让模型学会认知自我知识边界 (Self-knowledge awareness)。在训练本阶段前，作者利用 Stage 1 训好的策略 \(\pi_{\theta_1}\) 结合 \(s_{\text{param}}\)，对训练集中的每个样本生成 \(K\) 个回答，通过子串匹配 (SubEM) 计算出经验求解率 \(p\) (Empirical Solve Rate)：

\[ p = \frac{1}{K} \sum_{k=1}^K \mathbb{1}[\text{SubEM}(\hat{y}_k, y) = \text{true}] \]

随后设定阈值 \(\rho\) (如 \(\rho=0.5\))，对于 \(p \ge \rho\) 的样本分配伪标签 yes，反之分配 no。最终，使用带显式推导要求的 \(s_{\text{decision}}\) 提示词进行 RL 训练，要求模型在 <assessment> 标签中输出决策。奖励机制依然是极其简洁的 Binary Outcome Reward，这避免了复杂的 Reward Credit Assignment。

Inference Pipeline (推理流水线)

在推理阶段，模型首先通过 Stage 1 prompt 决定是否能仅依赖参数化知识解答问题。如果回答 yes，则直接转入 \(s_{\text{param}}\) 吐出答案；如果回答 no，则注入 \(s_{\text{search}}\) 进行多轮动态检索生成。

⚙️ 方法论与技术实现

CriticSearch 的核心是在不增加额外 Rollout 负担的前提下，利用非对称信息构建高质量的 Dense Reward。其数学推导与实现步骤如下：

1. 全局奖励 (Global Reward Signal):
沿用 Search-R1 的规则，最终奖励由答案准确性（Exact Match）和格式正确性（Format）共同决定：
r_φ(q, y) = 1 (正确且格式对), 1 - λ_f (正确但格式错), λ_f (错误但格式对), 0 (全错)。
由此计算出组内相对全局优势 \(A^{\tau}_{i,t}\)（均值归一化）。

2. 回溯评论家 (Retrospective Critic):
对于一个包含多轮搜索动作 \(a_{i,t}\) 的轨迹，假设我们拥有特权信息 \(o_{gold}\)（Ground-Truth 答案）。一个冻结的 (Frozen) 强大 LLM（如 Qwen-2.5-Instruct）作为 \(\mathcal{C}_\phi\)。该评论家站在“上帝视角”，输入为 \((x, y_i, o_{gold})\)，输出对每一个回合 \(t\) 的二元评价 \(\ell_{i,t} \in \{Good, Bad\}\)。将其映射为回合级奖励：\(r^a_{i,t} = 1\) (如果 \(\ell_{i,t} = Good\))，否则 \(0\)。随后，对回合级奖励进行优势归一化： \[ A^a_{i,t} = \frac{r^a_{i,t}}{\sum_{u=1}^{T_i} r^a_{i,u} + \varepsilon}, \quad \varepsilon > 0 \]

3. 混合优势估计 (Hybrid Advantage in GRPO):
为了既保留对全局任务的对齐，又强化对局部动作的指导，将两者线性组合： \[ A_{i,t} = \alpha A^a_{i,t} + (1 - \alpha) A^\tau_{i,t} \] 其中 \(\alpha\) 为控制混合比例的超参（最佳实践设为 0.25）。最终代入 GRPO 的目标函数中，仅对策略模型生成的 token 传播梯度（屏蔽搜索引擎返回的信息）。

⚙️ 方法论与技术实现 (Methodology)

SSP 的核心是一个基于标记级马尔可夫决策过程的零和博弈机制。给定策略 \(\pi_\theta\)：

• Proposer： 基于答案库中的种子答案 \(a^*\)，生成能够难倒 Solver 的合法查询 \(q\)。
• Solver： 通过多轮搜索工具尝试解答 \(q\)，目标是最大化答对概率。

RAG 验证机制

如果不加约束，Proposer 会倾向生成无解问题以骗取奖励。为此，作者将 Proposer 在出题过程中获取的所有搜索结果 \(\mathcal{O}(\tau)\) 作为文档提供给 Solver；Solver 必须在不调用搜索工具的条件下，仅凭这些资料准确回答 \(a^*\)。

整体对抗优化目标为：

\[ \min_\theta \max_\theta \mathbb{E}_{a^* \sim \mathcal{D}, \tau, \rho} [r(\mathcal{A}(\rho), a^*)] \]

并满足验证约束： \[ \mathbb{E}_{\sigma}[r(\mathcal{A}(\sigma), a^*)] = 1 \]

算法更新： Solver 使用 GRPO 优化；Proposer 以 Solver 的失败率为奖励，采用 REINFORCE 训练，并辅以 Replay Buffer 稳定训练。

方法论：多轮查询优化与两阶段 RL

QAgent 将搜索建模为一个马尔可夫决策过程。在每轮交互 \(t\) 中，给定初始 Query \(q\)，智能体根据策略执行规划动作 \(I^{pre}_t\)，生成检索请求 \(S_t\)，获取环境返回聚合上下文 \(C_t\)，随后进行后置反思 \(I^{post}_t\)，直至最终作答。

Stage 1: End-to-End RL Training

第一阶段使用 GRPO 进行端到端优化，奖励函数基于严格精确匹配（Strict EM）和格式约束：

\[ R(\tau) = \mathbb{I}\{r_{fmt}(\tau) = 1\} \cdot \text{EM}_s(A^*, \hat{A}) \]

Stage 2: Generalized RL Training

为避免 Reward Hacking，引入冻结生成器 \(\mathcal{G}\) 作为“下游阅卷人”。由 Search Agent 负责生成带检索轨迹的上下文文档集 \(\mathcal{K}\)，将其喂给冻结生成器产生答案 \(\tilde{A} = \mathcal{G}(q, \mathcal{K})\)。奖励函数变为：

\[ R(\tau) = \text{EM}(A^*, \tilde{A}) + 0.5 * \text{Hit}(\tau, A^*) \]

其中 \(\text{Hit}\) 用于衡量整个交互轨迹中是否成功检索到包含黄金答案的文档。这一步把 Agent 拉回“纯检索优化器”的角色，从而提升其对外围生成器的通用价值。