⚙️ 方法论与技术实现

1. 过程奖励机制：双层信用评估 (Dual-Level Credit Assessment)

为了判断一个中间Query的好坏，模型从三个维度评估：查询新颖性、意图必要性、检索相关性。

• (1) 基于规则的评估（Query Novelty）： 防止Agent反复用不同的Query查出相同的文档。定义新颖性得分 $\mathcal{S}_t^{\text{novel}}$：当当前召回文档与历史文档重合度 $O_t^i$ 大于阈值 $K$ 时，判定冗余。
• (2) 基于模型的评估（Usefulness Check）： 采用一个轻量级SFT模型评估意图是否有必要，以及召回结果是否包含能推动问题解答的信息。模型输出打分 $\mathcal{S}_t^{\text{useful}}$ 与具体文本解释 $\mathcal{T}_t^{\text{useful}}$：
  $$\mathcal{S}_t^{\text{useful}}, \mathcal{T}_t^{\text{useful}} = \text{LLM}_{\text{eval}}(q, a, H_t)$$

最终得分为两者的逻辑与：$\mathcal{S}_t = 1 \text{ if } (\mathcal{S}_t^{\text{novel}} = 1 \land \mathcal{S}_t^{\text{useful}} = 1) \text{ else } 0$。同时拼接文本解释用于指导下一步。

2. 过程奖励引导的查询重写 (Query Refinement)

对于评分为 0 的低质量Query，利用同一个轻量级LLM，根据上下文和反馈解释进行重写：
$$q_t' = \text{LLM}_{\text{refine}}(q, H_t, \mathcal{T}_t)$$
随后，Agent 会丢弃旧节点，基于新 Query $q_t'$ 继续生成后续轨迹 $H_t'$。这不仅能修复错误轨迹，还是构建高质量训练数据的引擎。

3. 三阶段课程学习 (Three-Stage Curriculum Learning)

Stage-1: 筛选式模仿学习 (Query Quality Screened SFT)
传统的SFT只要最终答案正确即可，但作者发现很多能得到正确答案的轨迹中，中间查询质量依然很差。因此，作者叠加了基于过程奖励的硬过滤，只保留所有步骤 $\mathcal{S}_t=1$ 且结果正确的完美轨迹进行监督微调。

Stage-2: 查询生成对齐 (Query Generation Alignment - DPO)
利用上文提到的Query Refinement机制，模型自动生成一对轨迹（重写前 vs 重写后）。偏好标注规则综合考量：(1) 答案正确者优先；(2) 答案都正确时，低质量查询次数少者优先；(3) 都错误时，高质量查询多者优先。通过DPO促使模型自主避开低效Query。

Stage-3: 查询感知策略优化 (Query Aware Policy Optimization - GRPO)
采用Agentic RL（在此具体使用了DeepSeek数学模型常用的 GRPO 算法）。在Rollout阶段，允许Agent调用Refinement生成多条轨迹。奖励函数设计为结果奖励与过程奖励的结合：
$$r = r_{\text{composite}} + \lambda \cdot r_{\text{format}}$$
其中过程奖励的设计会动态地惩罚轨迹中低质量节点数($n_{\text{wrong}}$)并奖励高质量节点数($n_{\text{correct}}$)。这促使模型不仅“蒙对”答案，更要“搜得准”。

四、 方法论与技术实现 (Methodology)

SPAgent 的系统架构包含算法层面的“两阶段自适应切换”和系统层面的“两级推测感知调度”。

1. 自适应 Action 级投机 (Adaptive Action-Level Speculation)

系统引入了一个自我反思打分机制来决定采用哪种阶段。使用 LLM 生成 $k$ 个投机动作后，调用模型进行打分，若所有评分均低于预设阈值 $\beta$（表明当前任务步入深水区），则切换为验证模式。

• Aggressive Speculation Phase（激进阶段）：直接绕过 Reason，模型 $\pi_{\theta}^s$ 直接预测 Action 并执行。
• Verified Speculation Phase（验证阶段）：走标准的 ReAct 主分支，但在侧边同时拉起推测分支提前执行工具调用。并在 Action Server 维护一个跨请求的 Action Buffer。

2. 系统级调度：Intra-Speculation Request Schedule (负载感知准入)

在 Serving 场景下，多出的推测请求（Prefill/Decode）可能拖垮引擎。调度器需要在每个 Step 动态选择将哪些处于验证阶段的主任务 $S \subseteq \mathcal{R}$ 发起 $k$ 个推测样本，目标是最大化期望延迟减少量，扣除推理开销：

$$ \max_{S} T_r(S, N) = T_{r,a}(S, N) - (T_{o,d}(S, N) + T_{o,p}(S, N)) $$

其中期望缩减量 $T_{r,a}$ 计算为： $$ T_{r,a}(S, N) = \frac{1}{N_m + N_a} \sum_{r \in S} t_{act} \times [1 - (1 - p)^k] $$

$p$ 为击中正确动作的概率，$t_{act}$ 为平均动作耗时。推理引擎的开销通过分析混合 Batch 计算：解码开销 $T_{o,d}$ 与预填充开销 $T_{o,p}$ 随并发数而非线性增加。算法会在运行时贪婪地将推测收益最高的请求入队，一旦边际收益 $\le 0$ 即停止下发推测任务。

3. 系统级调度：Inter-Request Schedule (投机优先排队)

由于标准的 FCFS (First-Come-First-Serve) 调度极易让只有几个 Token 生成的“短推测请求”被主线几百个 Token 的 Decode 请求阻塞（Head-of-line blocking）。SPAgent 设计了类似 SJF 的 Speculation First 策略，提高推测请求优先级，保证它跑在主干 Reason 前面，从而实现真正的时间重叠（Overlap）。如果推测请求在队列中等待超时超过阈值 $t_w$，则被视作已无重叠价值而被抛弃。

⚙️ 方法论与技术实现

1. 扩展型马尔可夫决策过程（Extended MDP）

作者将静态文本生成的单步决策扩展为涵盖多轮历史的 MDP：

• 状态表示 (State Space)：当前状态不再仅仅是过去的 token 序列，而是包含多轮交互上下文的完整轨迹：
  $$ s_t = (\mathbf{w}_p, \mathcal{T}_1, \mathcal{T}_2, \dots, \mathcal{T}_k, \mathcal{T}_{k+1}^{\text{partial}}) $$ 其中 $\mathcal{T}_i = (w_{i1}, \dots, w_{iT_i}, w_{ei})$ 代表第 $i$ 轮的 Agent 动作输出 $w$ 和相应的环境反馈 $w_e$。
• 状态转移 (State Transition)：区分了内部生成性转移 $P_G$（确定性）和由工具调用触发的环境转移 $P_E$（随机性，依赖 API 或外部世界的响应）。
• 稠密奖励 (Dense Reward)：除了最终的结果奖励 $r_f$，引入了每个中间步（如成功解析参数并调用工具）的中间过程奖励 $r_p$。

2. 工程架构：Tool 与 ToolEnv 解耦

为了支撑上述 MDP，Agent-R1 在 Rollout 设计上做了两个核心模块的拆分：

• Tool（原子动作层）：纯粹的执行器，遵循 JSON Schema 规范被定义，负责发请求或执行代码，返回"发生了什么"。
• ToolEnv（状态与奖励编排层）：这是 RL 的核心。它调用 step 方法捕获 LLM 生成的特征，调用 Tool，并将 Tool 返回的内容包装回给模型，同时在这个过程中打上 Process Rewards（过程奖励）。

3. 策略优化：多轮轨迹的精确对齐（Masking 机制）

这是 Agent-R1 算法层面的精髓。由于轨迹中混杂了外部环境的返回内容，如果按照传统方式全量计算，Critic 会难以预估，Actor 的梯度也会跑偏。框架引入了 Action Mask：

• Refined and Aligned Advantage：在 PPO/GRPO 中计算 Advantage $\hat{A}_t$ 时，强制应用 Advantage Mask。只有属于 Agent 自主生成的部分（如 <think>、<tool_call>），才会被分配 Advantage 信号用于参数更新。
• Masked Policy Optimization：计算 Actor Loss （如 PPO 的 surrogate loss）时，同样使用 Action Mask 对不相关的非动作 token（如 `<tool_response>`）进行截断忽略，确保 Credit 绝对精准地分配到 Agent 自己的决策头上。

⚙️ 方法论与技术实现

本综述详细拆解了LLM领域最核心的几条RL技术路线：

1. 经典的 Proximal Policy Optimization (PPO)

PPO 至今仍是大模型对齐的黄金标准。其核心在于通过截断比率（Clipped Probability Ratio）和 KL 散度惩罚，保证策略更新的稳定性，防止策略崩溃。

$$ \mathcal{L}_{\text{PPO}}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1 - \epsilon, 1 + \epsilon) \hat{A}_t \right) \right] $$

2. Group Relative Policy Optimization (GRPO)

由 DeepSeek 提出，专门解决 PPO 的庞大开销。GRPO 摒弃了独立的价值网络（Value Model），它针对同一个 Prompt 采样 $G$ 个候选回答，利用这组回答的奖励进行内部标准化（均值 $\mu$、方差 $\sigma$）来计算组内相对优势（Group-normalized Advantage $\hat{A}_i^{\text{GRPO}}$）。极大降低了内存消耗，特别适合数学等强推理任务。

$$ \mathcal{L}^{\text{GRPO}}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( r_i(\theta) \hat{A}_i^{\text{GRPO}}, \text{clip}(r_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i^{\text{GRPO}} \right) \right] $$

3. Direct Preference Optimization (DPO)

基于偏好的隐式奖励优化，免去了训练 Reward Model 的繁琐过程，直接利用 KL 约束下的最优策略形式对策略网络进行分类任务式的更新：

$$ \mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma \left( \beta \log \frac{p_\theta(y_w|x)}{p_{\text{pref}}(y_w|x)} - \beta \log \frac{p_\theta(y_l|x)}{p_{\text{pref}}(y_l|x)} \right) \right] $$

4. 增强推理的稀疏与密集奖励框架

• OB-RL (Outcome-Based RL): 像经典的强化学习一样，仅对最终结果给出标量奖励 $R(\tau)$，不约束中间路径，极大提升了模型推理策略的多样性。
• CoT-RO (Chain-of-Thought Reward Optimization): 密集型奖励，每生成一步推理 $y_t$ 即调用轻量化验证器给予即时奖励 $r_t$，公式表现为折扣累积回报优化。此法加速了收敛并防止长逻辑链的“信用分配（Credit Assignment）”困难。

⚙️ 方法论与技术实现

1. 双智能体职责拆分

Crawler 追求 recall，负责调用搜索工具、阅读候选文献、遍历 citation graph；Selector 追求 precision，判断某篇论文是否真正回答用户 query。这个拆分非常合理，因为“找得到”和“判得准”本来就是两个不同子问题。

2. Session-level 强化学习

PaSa 不是只在单步 action 上训练，而是把整段搜索流程看成一个 session。直觉上，这等于优化：

$$R_{session} = \alpha \cdot \text{Recall} + \beta \cdot \text{Precision} - \gamma \cdot \text{Cost}$$

虽然论文中的实际奖励定义更细，但核心思想就是：最终不只看“这一步搜得像不像”，而是看整段搜索流程最后是否找全、找准、且成本可控。

3. 数据构建非常聪明

AutoScholarQuery 的亮点在于：不需要人工逐条设计学术复杂 query，而是利用已有论文的 related work 段落反推出“这个作者在比较什么、归纳什么”，再把引用集合当作近似 ground truth。这种方法兼具规模化与学术语义密度。