大模型 Agent 与强化学习 (RL) 深度学术解读报告

方法论与技术实现

TADI 本质上是一个有界工具调用过程。设工具集为 $\mathcal{T}=\{t_1,\dots,t_n\}$，在第 $i$ 步，Agent 根据用户问题 $q$、系统提示 $s$ 和当前已收集证据 $E_{1:i-1}$ 选择动作：

$(t_{j_i}, a_i)=\pi_\theta(q,s,E_{1:i-1})$

系统显式限制调用预算，从而迫使模型进行规划而不是盲目试探。更关键的是，领域知识被沉淀在工具里，而不是寄希望于 LLM 现场“发明算法”。例如某些作业难度指标直接在代码中计算，如：

$D_{section}=z(\text{WOB})+z(\text{Torque})-z(\text{ROP})$

这种“代码承载专业逻辑，LLM 负责编排”的设计，在 B 端高约束场景里非常靠谱。

方法论与技术实现

论文采用三层架构：功能层负责 Task Owner、Agent 和 Verifier 交互；声誉服务层负责计算 Reputation Cards 与 Policy Engine；区块链/存储层负责不可篡改记录。单次交互被编码为事件元组：

$e=\langle agent, task, regime, outcome, strength, timestamp, integrity\rangle$

这里的 strength 用来区分静态扫描、自动执行测试、专家审查等验证方式的置信度。策略引擎并不直接吃一个总分，而是消费按上下文隔离后的 reputation card，再决定 access gating、stake、slashing 等动作。

方法论与技术实现

LOCA 的核心是把越狱样本 $x_j$ 的内部表示逐步拉向原始拒绝样本 $x_o$。为了避免穷举所有 token 与 SAE 特征，作者对 KL 散度使用一阶近似，计算每个方向的收益：

$d(i,\mathbf{v})=\left[\nabla_{\mathbf{h}_{j,i}} KL(\mathbf{p}_o\|\mathbf{p}_j)^T\mathbf{v}\right]\left(\mathbf{h}_{o,\mathcal{M}(i)}-\mathbf{h}_{j,i}\right)^T\mathbf{v}$

然后算法不是一次选 Top-K，而是迭代 patch：每做一步，就重新前向传播，更新后续候选。这一点很关键，因为特征之间存在强交互。

方法论与技术实现

论文定义了一条很有启发的退化链：

$\text{CoT}\xrightarrow{\Delta_{sty}}\text{FCStyle}\xrightarrow{\Delta_{frc}}\text{NoopTool}\xrightarrow{\Delta_{cmp}}\text{Full}$

于是完整性能差可以分解为：

$Acc(Full)-Acc(CoT)=\Delta_{cmp}+\Delta_{frc}+\Delta_{sty}$

其中 $\Delta_{sty}$ 是 function calling 格式本身带来的损失，$\Delta_{frc}$ 是多轮协议开销，$\Delta_{cmp}$ 才是真正工具执行带来的收益。这个分解非常适合企业 Agent 调试。

方法论与技术实现

论文先为回答构建图 $G=(V,E)$，再用拓扑评分衡量推理结构：

$s_{topo}(G)=\alpha_1 q_{path}-\alpha_2 c_{cycle}-\alpha_3 d_{dangling}-\alpha_4 q_{contradict}$

之后将语义分与拓扑分组合成 shaped reward：

$r_\phi(x,y,G)=a f^{sem}_\phi(s_{sem})+(1-a)f^{topo}_\phi(s_{topo})-\lambda u(G)$

其中 $u(G)$ 是不确定性。实例权重则按

$w=clip\left(\frac{\tau_w}{1+\bar u}, w_{min}, 1\right)$

计算。最终训练目标是：

$\mathcal{L}_{TUR-DPO}=-w\log\sigma\left(\beta[\Delta\log\pi_\theta-\Delta\log\pi_{ref}]+\gamma\Delta r_\phi\right)$