大模型 Agent 与强化学习 (RL) 深度学术解读报告

方法论与技术实现

初始 belief 记为 $\pi_0(\theta)$。第 $t$ 轮的熵为：

$$ \mathbb{H}(\pi_t) = - \sum_{\theta \in \Theta} \pi_t(\theta) \log \pi_t(\theta) $$

对候选问题 $(q,u)$，系统计算其带来的预期信息增益：

$$ I_t(\theta;Y\mid \mathcal{H}_t;q,u)=\mathbb{H}(\pi_t)-\mathbb{H}(\theta\mid Y,\mathcal{H}_t;q,u) $$

真正高明的点在于：用户回答不是结构化 label，而是自由文本，因此作者用 LLM 做 soft semantic alignment，把回答映射成 answer-option distribution，再进行 soft Bayesian update。这样既保留了数学上的 belief update，又适配真实对话形态。

方法论与技术实现

给定观测 $o^t$，VLM 先生成初始描述 $d_i^t$，LLM 基于目标 $g$ 产生问题集 $Q^t$，VLM 对每个问题回答 $\lambda_j^t$，然后 LLM 生成最终状态描述 $d_f^t$：

$$ d_i^t = \mathcal{V}_p(d_p, o^t), \quad Q^t = \mathcal{R}(d_i^t, g), \quad d_f^t = \mathcal{R}(d_i^t, Q^t, \Lambda^t) $$

之后策略网络按自回归方式预测动作：

$$ \pi_\theta(a_i \mid g,\mathcal{H},d_f^t)=\prod_{j=0}^{|a_i|} P_{LLM}(w_j \mid g,\mathcal{H},d_f^t,w_{

从工程角度看，作者最聪明的设计不是更大的模型，而是让 perception output 变成可以被 RL 稳定优化的 textual state representation。

方法论与技术实现

检索器采用对比学习损失：

$$ \mathcal{L}_{\text{contrast}} = -\log \frac{e^{\mathrm{sim}(e_q,e_{d^+})/\tau}}{e^{\mathrm{sim}(e_q,e_{d^+})/\tau} + \sum_i e^{\mathrm{sim}(e_q,e^-_i)/\tau}} $$

最终答案接受条件由 verifier 决定：

$$ v_k = \begin{cases}\text{ACCEPT}, & v_{\text{suff}} \land v_{\text{num}} \land v_{\text{cross}} \\ \text{REJECT}, & \text{otherwise} \end{cases} $$

其中 $v_{\text{suff}}$ 表示证据充分，$v_{\text{num}}$ 表示数值过程可追溯，$v_{\text{cross}}$ 表示跨数据源口径一致。这个设计比很多只会“再搜一次”的 agent 方案成熟得多。

方法论与技术实现

tracker 递推更新内部状态：

$$ m_t = \mathrm{Update}_k(m_{t-1}, a_{t-1}, o_t), \quad b_t = \mathrm{Render}_k(m_t) $$

模型每步输入写成：

$$ x_t = \mathrm{Format}(g, o_t, q_t, b_t), \quad |x_t| \le B_k $$

SFT 阶段优化下一动作预测：

$$ \mathcal{L}_{SFT}^{(k)} = -\sum_{(x_t,a_t^*)\in\mathcal{D}_k} \log p_{\theta_0,\phi_k}(a_t^*\mid x_t) $$

强化学习阶段则用环境奖励与子目标进度奖励联合驱动，这种“deterministic tracker as reward scaffold”的设计非常适合真实 agent 系统。

方法论与技术实现

论文将系统抽象为主体、资源与工作流图，并强调聚合结果本身也可能构成新的授权对象。给定资源 $d_1,\dots,d_j$ 与合成函数 $f$：

$$ f(d_1, d_2, \dots, d_j) \to r $$

即便每个输入单独可访问，也不代表输出 $r$ 自动可访问；这正是 aggregation inference 的本质。另一方面，temporal validity 指出权限检查不能只发生在 initiation time，而必须覆盖 access-time / completion-time，甚至支持更细粒度的 revocation 机制。