大模型 Agent 与强化学习 (RL) 深度学术解读报告

方法论与技术实现

系统分为离线经验构建和在线经验对齐两部分。

离线阶段，对同一问题的成功与失败轨迹做反思提炼：

$$e_i, d_i = \mathrm{Reflect}(x_i, y_i^+, y_i^-)$$

然后对经验摘要做聚类，形成从具体到抽象的层级知识。

在线阶段，在中间查询 $q_t$ 生成后，从经验库中检索最相关经验：

$$e^* = \arg\max_{e \in \mathrm{HEK}} \mathrm{cos\_sim}(\phi(q_t), \phi(d_e))$$

为了防止模型机械复制检索经验，训练时会对经验文本进行 masking，这一点很像“外挂经验但不允许抄答案”的设计。

方法论与技术实现

规划问题被写为条件策略：

$$\mathcal{P} \sim \pi_\theta(\cdot \mid q, O_{init})$$

其中 $O_{init}$ 是 probe 给出的检索环境快照。训练分三阶段：teacher 合成数据、planner 做 SFT + RL、router 控制线上路由。

其业务对齐奖励函数为：

$$R(P_i) = \frac{1}{K} \sum_{d_j \in \mathcal{D}_{P_i}} \mathbb{I}(\phi_{rel}(q,d_j)\ge\tau) \cdot \phi_{cvr}(q,d_j)$$

这里的 hard relevance gate 非常关键，它防止模型为了优化 CVR 而去召回不相关但“更好卖”的商品。

方法论与技术实现

总奖励写为：

$$R_{\mathrm{Dense}} = R_{\mathrm{ans}} + \alpha R_{\mathrm{mem}} + \gamma \mu R_{\mathrm{query}} + \gamma R_{\mathrm{format}}$$

其中：

• Outcome reward： 最终答案质量。
• Memory reward： 记忆是否覆盖关键信息。
• Query reward： 查询是否简短且多样。
• Format reward： 动作 token 与轮次是否规范。

GRPO 通过 group-based advantage 对多条轨迹相对归一化，让“哪些中间行为更有价值”变得可学习。

方法论与技术实现

论文把购物过程建模为 MDP：

$$a_t = \pi_\theta(o_t, u_t, p), \quad o_{t+1}, u_{t+1} = \mathcal{E}(o_t, a_t)$$

其中 $o_t$ 是环境观察，$u_t$ 是当前轮用户表达，$p$ 是长期画像。

作者还设计了两种奖励：

• 宽松奖励： 允许部分约束匹配。
• 严格奖励： 类目、属性、选项、价格都必须过关，任何一个维度掉链子都会被放大惩罚。

严格奖励更符合真实电商 agent 的要求，因为用户买错尺码和买错颜色都不是“部分成功”。

方法论与技术实现

论文最关键的设计，是把奖励拆成三部分：

• Outcome reward： 最终答案质量。
• Information Gain reward： 搜索返回文档对标准答案的覆盖程度。
• Mixed-Initiative Action reward： 模型是否在该澄清时澄清、该拒答时拒答。

搜索增益奖励可以理解为：不用人工标注“标准 rewrite query”，而直接看你搜回来的文档是否包含正确答案信息。这是非常实用的弱监督思路。

总奖励近似写为：

$$\mathcal{R}(\tau)=\mathcal{R}_{\mathrm{outcome}}+0.5\,(\mathcal{R}_{\mathrm{IG}}+\mathcal{R}_{\mathrm{MIA}})$$

优化上使用 GRPO，而不是传统 PPO，这对长轨迹 agent 训练更稳定。