4. 方法论与技术实现

如图所示，LRAT 的技术管线主要包含两大部分：监督信号挖掘与相关性强度感知的网络训练。

4.1 挖掘逐步精炼的监督信号

• 朴素正负样本构建 (Naive Relevance Mining)：提取 [Search] → [Browse] 的转移对。在同一个召回 List 中，被浏览的 $d_{t+1}$ 视为正样本，其余所有未被浏览的候选自动构建为无偏负样本池 $\mathcal{N}_t = \mathcal{D}_t \setminus \{d_{t+1}\}$。
• 推理感知的正样本过滤 (Reasoning-Aware Positive Filtering)：Agent 仅凭 Snippet 选中的内容有时名不符实（点开后发现没用）。通过引入 LLM-as-a-Judge，评估 Agent 浏览完毕后紧跟的 [Think] 轨迹，判断 Agent 是否真的“吸收并利用”了该文档推进任务。如果不匹配，则直接丢弃该伪正例。

4.2 强度感知训练 (Intensity-Aware Training)

这是全篇最精彩的机制迁移之一：经典 IR 中有一个公认的结论——用户在一个网页停留的时间（Dwell Time）越长，该网页越相关。在 LLM 身上，这一表现被映射为了“推理计算消耗”（Post-browse Reasoning Length）。Agent 浏览高价值线索后，往往会生成很长的 Thought 链来进行深层逻辑推演。

受时间感知点击模型的指数饱和效应启发，作者使用 Agent 在浏览动作后的生成的 Token 数量 $l$ 计算平滑相关性权重 $w$：

$$ w = \frac{1}{\mu_{\text{raw}}} \left( 1 - \exp\left(-\frac{\ln 2 \cdot l}{\beta}\right) \right) $$

其中，$\beta$ 是所有轨迹中推理长度的中位数作为半衰参数，使得边际效用随着 Token 增多而逐渐饱和，防止极端异常长的输出带崩梯度。

最终，将该权重纳入经典的 InfoNCE 损失函数中，指导基于 Bi-encoder 的 Dense Retriever 微调（带权重强度的对比学习）：

$$ \mathcal{L} = - \frac{1}{N} \sum_{i=1}^{N} w_i \cdot \log \frac{\exp(s(q_i, d_i^+)/\tau)}{\exp(s(q_i, d_i^+)/\tau) + \sum_{d^- \in \mathcal{N}_i} \exp(s(q_i, d^-)/\tau)} $$

⚙️ 方法论与技术实现 (Methodology & Implementation)

SGE 的实现非常优雅，它完全不改动基础强化学习算法（如 GRPO）的损失函数和梯度更新机制，仅仅在数据收集（Rollout）阶段的采样机制上做文章。

1. 策略提示与概率分布重构

将标准的思维链采样 $y_1 \sim \pi(\cdot \mid g, o_1)$ 改造成先进行策略采样。整个输出的分布变为： $$ \pi(a_t|y_t, s_t, o_t) \pi(y_t|s_t, o_t) S_\pi(s_t|o_t) $$ 其中 $S_\pi$ 代表特定的策略采样分布，它由特制的 Prompt 和独立配置的温度参数构成。

2. 混合温度采样 (Mixed-Temperature Sampling)

在推理生成阶段，对同一个输出流实施两段式温度控制：

• 策略 Token ($s_t$)： 使用较高温度 $\tau_s$（实验中设置为 1.0 ~ 1.2）。这使得 $S_\pi$ 能覆盖广泛的高层意图。
• 剩余 Token ($y_t, a_t$)： 使用正常/较低温度 $\tau$（实验中设置为 0.6 ~ 0.7）。因为在给定了高层策略后，动作的执行必须尽可能遵守语法或 UI 规范，如果动作也使用高温度，会导致诸如代码缩进错误、UI点击偏差等无意义的探索。

3. 策略反思 (Strategy Reflection)

为防止在一次 PPO/GRPO 迭代中并行生成的 $K$ 条轨迹同质化，SGE 维护了一个策略回放缓冲区。 在训练循环的 Rollout 阶段，维护两个集合：成功策略缓存 $\mathcal{B}_G$ 和失败策略缓存 $\mathcal{B}_B$。

以概率 $p_B$（如 0.25）触发负面反思：从 $\mathcal{B}_B$ 随机采样一条同任务下曾经失败的策略（如果环境支持，还会附带 Error Log 比如测试失败输出），拼接到 Prompt 中，迫使模型反思并输出新策略。
以概率 $p_G$（如 0.1）触发正面反思：从 $\mathcal{B}_G$ 提取成功策略，要求模型受此启发生成变体，从而提升学习效率并维持高熵状态。

⚙️ 方法论与技术实现

本文从架构、获取和部署三个维度，对 Agent Skills 的技术体系进行了深度解构：

1. 架构基石：Skills 与 MCP 的融合 (The Agentic Stack)

Agent 的现代化堆栈正在由两大互补层构成：

• Agent Skills (提供 "What to do")：以 SKILL.md 为核心的目录结构，负责提供程序性知识。它基于文件系统，由 Agent 在触发时加载，直接修改上下文与操作权限。
• Model Context Protocol, MCP (提供 "How to connect")：标准化的 JSON-RPC 2.0 协议，负责提供外部系统的数据和工具连接性。

2. 技能的获取范式 (Acquisition Modalities)

除了人类直接编写 (Human-authored) 以外，学术界正探索如何让 Agent 自主学习技能：

• RL 结合技能库 (例如 SAGE)：通过顺序展开 (Sequential Rollout) 机制，Agent 在相似任务链中持续保留生成的技能。结合 GRPO 强化学习框架，不仅奖励任务结果，还包含一个专门的 Skill-integrated Reward 信号来奖励高质量、可复用的技能创建。
• 自主探索发现 (例如 SEAgent)：引入世界状态模型 (World State Model) 进行评估，并通过课程生成器 (Curriculum Generator) 从软件操作指南中不断生成进阶任务，从专才向通才进化。
• 多智能体编译 (Skill Compilation)：将复杂的多智能体系统“编译”为单智能体技能库，能大幅降低 Token 消耗并保持低延迟。

3. 主要部署环境：CUA (计算机使用智能体) 堆栈

由于操作 GUI 界面本质上需要感知、推理与动作的复合序列，CUA 成了技能范式最天然的试验场。诸如 UI-TARS 2 等架构通过视觉与动作统一建模，结合数据飞轮与多轮 RL 训练，正在持续推高 CUA 的基准性能（详见实验部分）。

4. 方法论与技术实现

RWML 的核心是将“下一个状态预测”转化为强化学习环境中的生成任务，整体流程包含以下几个关键步骤：

Step 1: 交互数据收集 (Rollout Generation)
目标策略模型 $\pi_\theta$ 在环境采样中进行 $N$ 次探索，生成包含观察、动作、下一观察的轨迹流，并将其全部转化为三元组 $\langle s_{\le t}, a_t, s_{t+1} \rangle$。

Step 2: 难样本挖掘 (Subsampling "Easy" Samples)
研究发现，由于环境反馈中存在大量微不足道的平庸状态变更（如“移动了一步”、“没有找到结果”），若将其喂给 RL 会造成算力浪费并导致奖励失效。通过训练一个小巧的参考模型剔除那些连续 10 次都能获得高分 Reward 的“简单样本”，迫使模型聚焦于复杂的非平凡（Non-trivial）动态转移。

Step 3: 构建二值化 Embedding 奖励函数
训练过程要求 LLM 输出其思维链（Reasoning）并预测下一个环境状态 $\hat{s}_{t+1}$： $$(\text{reason}, \hat{s}_{t+1}) \sim \pi_\theta(\cdot|s_{\le t}, a_t)$$ 传统的文本精确匹配过于严苛，而使用 LLM-as-a-judge 又极容易被“欺骗”（Reward Hacking）。本文创新地采用现成文本嵌入模型 $E(\cdot)$ 的余弦相似度，并设置阈值 $\tau_d$ 将其二值化以提升鲁棒性： $$ r^{\text{WM}}(\hat{s}_{t+1}, s_{t+1}) = \begin{cases} 1.0, & \text{if } 1 - \cos(E(\hat{s}_{t+1}), E(s_{t+1})) < \tau_d \\ 0.0, & \text{otherwise.} \end{cases} $$

Step 4: 基于 GRPO 的强化优化
采用无 Critic 网络的 GRPO（Group Relative Policy Optimization）算法，通过组内奖励优势计算替代传统 PPO 的价值网络估算。其优势函数设计为标准形式： $$ A = \frac{r^{\text{WM}} - \text{mean}(r^{\text{WM}})}{\text{std}(r^{\text{WM}})} $$

⚙️ 方法论与核心技术实现

SmartSearch 由两大机制与三阶段训练范式构成。

1. 过程奖励：双层信用评估 (Dual-Level Credit Assessment)

为了衡量每个搜索回合 $t$ 的 Query 质量，论文定义了基于三大原则（新颖性、必要性、相关性）的评估机制：

• 基于规则的新颖性评估 (Novelty Check)：通过计算当前检索文档与历史回合检索文档的重叠度来判断 Query 是否冗余。若重叠文档数 $O^t$ 大于阈值 $K$，则 $S_t^{\text{novel}}=0$（冗余），否则为 $1$。
• 基于模型的有用性评估 (Usefulness Check)：使用轻量级评分模型 $\text{LLM}_{\text{eval}}$ 评估检索结果是否推进了最终答案的解决：
  $S_t^{\text{useful}}, \mathcal{T}_t^{\text{useful}} = \text{LLM}_{\text{eval}}(q, a, H_t)$
  输出二值分数（$1$ 或 $0$）以及具体的自然语言解释（如上文Case Study中的 Explanation）。最终得分 $S_t$ 是两者的逻辑与（AND）。

2. 查询修正机制 (Query Refinement)

针对判定为低质量的查询（$S_t = 0$），使用轻量级修正模型根据解释文本重写 Query：
$q_i' = \text{LLM}_{\text{refine}}(q, H_i, \mathcal{T}_i)$
随后，智能体从这个纠正后的节点重新开始执行后续的 Rollout 轨迹，形成新的修正轨迹（Revised Trajectory）。该机制极大地提升了轨迹探索的效率。

3. 三阶段课程学习框架 (Three-Stage Curriculum Learning)

• 阶段 1: Query Quality Screened Imitation Learning (SFT)
  传统SFT只要求最终答案正确。本文在构建 SFT 数据时，不仅要求最终答案正确，还要求所有中间查询必须高质量（即 $\forall t, S_t=1$）。这避免了模型在早期阶段模仿到低效甚至错误的搜索行为。
  $\mathcal{L}_{SFT}(\theta) = -\mathbb{E}_{(q,y)\sim \mathcal{D}} [\log P_{\theta}(y \mid q)]$
• 阶段 2: Query Generation Alignment (DPO)
  利用重写机制生成同一题目的多条轨迹。偏好排序原则为：答案正确 > 答案错误；同等答案下，低质量查询（$S_t=0$）越少越好。以此构造正负样本对 $(y_w, y_l)$ 进行 DPO 训练，直接对齐模型的查询生成分布。
• 阶段 3: Query Aware Policy Optimization (GRPO)
  在强化学习阶段，采用 Agentic RL 中的 GRPO 算法。针对每条探索轨迹，奖励函数融合了最终结果奖励和过程奖励：
  $r = r_{\text{composite}} + \lambda \cdot r_{\text{format}}$
  其中 $r_{\text{composite}}$ 是核心：当答案正确时，惩罚错误的中间步骤（$\max(r_{\text{outcome}} - \gamma \cdot n_{\text{wrong}}, \phi_{\text{min}})$）；即使答案错误，也会奖励正确的高质量搜索步骤（$\min(r_{\text{outcome}} + \gamma \cdot n_{\text{correct}}, \phi_{\text{max}})$）。这激励智能体尽可能生成高质量的检索 Query。