大模型 Agent 与强化学习 (RL) 深度学术解读报告

LLM智能体中的外化：关于记忆、技能、协议与Harness工程的统一综述

English Title: Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering

Authors: Chenyu Zhou, Huacan Chai, Wenteng Chen, Zihan Guo, Rong Shan, et al.

Institutions: Shanghai Jiao Tong University, Sun Yat-Sen University, Shanghai Innovation Institute, Carnegie Mellon University, OPPO

📄 查看 ArXiv 原文

💡 研究背景与痛点

近年来，大语言模型（LLM）的演进呈现出一条清晰的轨迹：从“能力依赖于权重（Weights）”（如预训练和微调），发展到“能力依赖于上下文（Context）”（如Prompt工程、RAG、CoT），目前正快速迈向“能力依赖于基础设施（Infrastructure/Harness）”的阶段。

对于资深从业者而言，单纯依赖LLM的内部参数或上下文窗口在实际业务中面临着不可回避的痛点（即认知负担，Cognitive Burdens）：

为了解决上述系统级不稳定性，业界开始通过外部环境来重塑Agent。这篇综述从认知科学中“认知工具（Cognitive Artifacts）”的视角出发，提出了一个统一的理论框架——“外化（Externalization）”，以此来解释当前Agent技术栈演进的根本逻辑。

🚀 核心贡献

本文突破了将大模型外围组件视为“工程补丁”的视角，系统性地提出了LLM智能体外化（Externalization）框架，将其拆解为四大核心维度：

🔍 具体案例剖析 (Case Study)

论文中给出了一个非常直观的软件工程智能体（Coding Agent，如SWE-agent或OpenHands）的对比案例，深刻揭示了“外化”前后LLM面临的任务表征差异：

任务场景： 要求Agent在一个大型代码库中实现一个新Feature，运行测试，并提交Pull Request (PR)。

❌ 未外化的系统（仅依赖模型权重和Context）：
模型必须将代码库的结构、项目的开发规范（如变量命名规则）、当前工作流的状态，以及各种Bash/Git工具的交互指令全都硬塞进一个极其脆弱且臃肿的Prompt中。一旦溢出或产生幻觉，任务直接失败。

✅ 深度外化的系统（Harness范式）：
1. Memory外化： 持久化的项目记忆提供上下文检索，模型只需根据当前快照决定下一步。
2. Skills外化： 具体的代码库规范、PR提交流程被固化为可复用的Skill文档（SOP），模型只需调用 Submit_PR_Skill，不再需要凭空捏造长串Shell命令。
3. Protocols外化： 工具接口遵循严格的协议Schema，确保输入参数类型绝对正确。
4. Harness管控： 外部脚手架负责管理失败重试（Failure Recovery）、隔离执行环境（Sandboxing）并在提交PR前插入人类审批流（Human in the loop）。
结果： 底层基座模型（如GPT-4o或Claude 3.5）可能并没有改变，但系统稳定性获得了数量级的提升，因为“任务本身的表征方式”被彻底简化了。

⚙️ 方法论与技术实现

从系统工程实现的角度，智能体架构的控制流可以抽象为以下范式转移：

传统的单次调用：$Output = LLM(Prompt, Weights)$

外化架构下的执行引擎：$State_{t+1}, Action_t = Harness\Big(LLM, Memory(State_t), Skills(Intent), Protocols\Big)$

文章详细拆解了这三大外化组件的技术路线图：

📊 实验设置与结论分析

作为一篇统一综述（Unified Review），本文并未进行单一的定量实验对比，而是通过对过去3年（2022-2026预测）数百篇顶会论文和业界生产级框架（如LangGraph, SWE-agent, AutoGen, DeepSeek/OpenAI最新实践）的深度Mapping得出系统性结论：

✨ 关键技术亮点分析

本文最具启发性的观点在于引入了认知科学理论来指导工程实践，对资深AI架构师有极强的指导意义：

  1. 表征转换（Representational Transformation）： 外部组件的加入不仅仅是“扩大了容量”，本质上是**改变了模型面临的数学任务形式**。例如，记忆系统将“在无垠的数据中回忆事实”变为了“对检索到的切片进行逻辑识别”，大大降低了模型的推理难度。
  2. 互补策略（Complementary Strategies）： 智能的提升并非只能通过让LLM“思考得更用力（think harder）”来实现，通过重组外部环境，将记忆和流程稳定性卸载（Offload）到专门的外部结构中，可以让LLM这颗“CPU”专注于它最擅长的零样本泛化和综合推理。
  3. 自进化机制（Self-Evolving Harnesses）： 指出了未来的高级方向——Agent不再仅仅是静态消费外部Skills和Memory，而是会在运行中，将失败的情节记忆（Episodic Memory）蒸馏提纯，自动编写并持久化为新的可复用Skill，实现系统层面的自我进化。

学习搜索：基于决策的知识视觉问答智能体
Learning to Search: A Decision-Based Agent for Knowledge-Based Visual Question Answering

作者：Zhuohong Chen, Zhenxian Wu, Yunyao Yu, Hangrui Xu 等

机构：清华大学、亚利桑那大学、合肥工业大学

📄 查看 ArXiv 原文

1. 研究背景与痛点

在知识型视觉问答（Knowledge-Based VQA, KB-VQA）任务中，模型面临着双重挑战：既要准确理解视觉内容（如细粒度实体或长尾知识点），又要动态引入外部百科知识来弥补自身参数化知识（Parametric Knowledge）的不足。当前主流的解决方案是检索增强生成（Retrieval-Augmented Generation, RAG）。

然而，现有的多模态RAG框架大多采用静态、线性的Pipeline设计（即“检索 -> 过滤/重排 -> 生成”）。这种范式存在几个致命的痛点：

2. 核心贡献

本文突破了静态RAG的桎梏，从智能体（Agent）的视角将KB-VQA重新定义为一个多步序贯决策过程（Sequential Decision-Making Process）。主要贡献包括：

3. 具体案例剖析 (Case Study)

为了直观感受 DBAgent 的多步决策能力，我们来看论文附录中展示的一个极其经典的“视觉理解+二次文本改写检索”多跳（Multi-hop）轨迹案例（对应 Figure 7）：

输入问题： Which country does this animal come from? （附图为一只毛茸茸的白兔）

点评： 这种复杂的链式调用（Image Retrieval -> Entity Identification -> Text Retrieval -> Final Answer）充分证明了基于当前 State 动态改写和判断信息不充分（Information Insufficiency）的能力是静态RAG所无法企及的。

4. 方法论与技术实现

DBAgent 的技术基石是将固定流程转为马尔可夫决策过程（MDP）风格的表述，并采用显式的 CoT（Chain-of-Thought）进行状态路由。

4.1 问题形式化与动作空间

在 $t$ 时刻，模型维持的信息状态定义为：$s_t \triangleq (I, q, e_1, \dots, e_{t-1})$，其中 $I$ 是原图，$q$ 是问题，$e$ 是历史调用返回的证据包。基于 $s_t$，模型从预定义的动作空间 $\mathcal{A}$ 选择下一个动作：

$\mathcal{A} = \{ a^\text{ans}, a^\text{text}, a^\text{img}, a^\text{cap} \}$

特别地，Caption 动作专门处理“视觉实体不明确，难以直接构造文本Query”的困境，作为视觉向语言过渡的中间语义锚点（Semantic Anchor）。

4.2 失败感知的轨迹合成 (Failure-Aware Trajectory Branching)

SFT训练数据的质量决定了 Agent 的上限。作者设计了极具启发性的自动化 Pipeline：

  1. Parametrically Sufficient 评估： 裸考（不带检索直接问模型），如果正确则记为 Zero-retrieval 轨迹，防止模型养成“过度检索依赖症”。
  2. Failure 分型： 如果直接回答失败，判断是“认识实体但缺事实知识”还是“根本不认识实体”。前者引导至 Text Retrieval，后者引导至 Image Retrieval 或 Caption。
  3. Difficulty Modeling： 基于搜索深度和工具复杂度，将轨迹分桶（Easy/Medium/Hard），并按 1:1:1 采样保持长短推理链的平衡。

4.3 SFT 监督目标

在序列化训练中，轨迹展开为 $(u, a_1, o_1, \dots, a_n)$。为了避免模型死记硬背检索到的文本（Wikipedia 内容），作者严格屏蔽了 Observation (证据文本) 的 Loss，仅对模型的推理（<think>）和动作标签计算交叉熵损失：

$\mathcal{L} = - \sum_j \log p_\theta(t_j \mid t_{

这里 $\mathcal{Y}$ 代表决策和推理 Tokens 集合。这一操作将优化目标从“预测最终答案”转移到了“学习决策与思考的策略”。

5. 实验设置与结论分析

基于 Qwen2.5-VL-7B-Instruct 作为 Backbone 进行了训练与评测，重点对抗了两大 KB-VQA 数据集：InfoSeek 和 Encyclopedic-VQA (E-VQA)。

6. 关键技术亮点分析 (Expert Takeaways)

带有增强步级转移的LLM智能体分层强化学习
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents

作者：Shuai Zhen, Yanhua Yu, Roupei Guo, Nan Cheng, Yang Deng

机构：北京邮电大学、中国移动设计院、新加坡管理大学

📄 查看 ArXiv 原文

🔍 研究背景与痛点

大型语言模型（LLMs）在复杂交互式决策任务中展现出了强大的智能体（Agent）能力。为了突破静态示范数据的限制，强化学习（RL）被广泛用于通过环境交互和奖励反馈来优化LLM智能体的策略。然而，当前主流的LLM智能体架构在长期任务中面临着严重的理论与工程瓶颈：

💡 核心贡献

本文提出了一种名为 STEP-HRL（Augmented Step-level Hierarchical Reinforcement Learning） 的全新框架，其核心思想是将LLM智能体从“依赖完整历史”的序列建模范式，拉回“依赖单步状态转移”的经典马尔可夫（MDP）范式：

  1. 创新的局部进度模块（Local Progress Module）： 引入了一个专门的策略模块，在子任务内部迭代地、选择性地总结历史交互信息，生成固定长度的紧凑文本状态表示（Local Progress），使得执行策略可以仅依赖当前单步观测和局部进度进行决策。
  2. 增强的步级转移机制（Augmented Step-Level Transitions）： 在高层（使用已完成的子任务序列作为全局进度）和低层（使用局部进度模块）同时实现了纯粹的单步决策，彻底消除了对无限增长历史上下文的依赖，使Token消耗在长序列任务中保持常数级别 $\mathcal{O}(1)$。
  3. 参数高效的两阶段训练管线： 高层策略、低层策略和局部进度策略共享同一个LLM Backbone，但配备独立的价值网络（Value Heads）。通过行为克隆（BC）初始化后，使用隐式Q学习（IQL）和优势加权回归（AWR）进行步级离线强化学习优化，兼顾了知识迁移与训练稳定性。

🛠 具体案例剖析 (Case Study)

在 ScienceWorld 的一个复杂任务中：“找到一个非生命物体，并将其移动到浴室的紫色盒子里。” 传统的ReAct智能体与STEP-HRL的表现形成了鲜明对比：

❌ 传统范式（ReAct）：被冗长上下文淹没

Observation: 这个房间叫厨房。里面有空气、椅子、柜台、冰箱、微波炉、画、水槽...(海量物体描述)。你还看到：通往浴室的门(关闭)...
Action: open door to bathroom
Observation: The door is now open.
Action: go to bathroom
Observation: 这个房间叫浴室。里面有浴缸、玻璃杯、紫色盒子...
Action: focus on cup
... (随着步数增加，Prompt中堆积了大量过去的Observation和Action，导致后续规划极易混淆当前所处位置和目标)

✅ STEP-HRL范式：基于动态摘要的单步决策

高层生成子任务 1： Navigate to the bathroom and focus on any non-living object.
Observation: The door is now open.
局部进度更新 (Local Progress)： 智能体在厨房，通往浴室的门已打开，尚未进入浴室。 [Route: kitchen]
低层执行 Action： go to bathroom

Observation: This room is called the bathroom. In it, you see...
局部进度更新 (Local Progress)： 智能体现在在浴室，准备寻找非生命物体。 [Route: kitchen -> bathroom]
低层执行 Action： focus on cup

点评：可以看到，STEP-HRL的执行动作只依赖当前的 Observation 和 Local Progress。Local Progress 像一个内存寄存器，不断用最新的观察去刷新自身状态（抛弃不需要的历史），这使得输入LLM的上下文长度始终保持极简，决策逻辑极度清晰。

方法论与技术实现

STAR框架是一个可扩展的模块化后训练管道，包含三个连续的阶段：

1. 数据合成 (Data Synthesis)

为了缓解训练数据稀缺的问题，研究团队对原子级的旅行要素（如出发地、目的地、日期）进行采样，并在本地沙盒中进行可行性检验 (Feasibility Checking) 以确保存在Ground-truth解。随后使用强模型 (如DeepSeek-V3.2-Exp) 将其回译为自然语言Query，并按约束条件的数量划分为 Easy, Medium, Hard 三个难度层级，合成了超1万条Query。

2. 监督微调 (Supervised Fine-tuning, SFT)

采用 Rejection-sampling 风格，使用强教师模型在合成Query上进行ReAct推理，仅保留严格格式化且获得“Success”的轨迹。得到约1.2K的高质量长轨迹（平均10.3K tokens, 9.2次工具调用）。以此微调Qwen2.5-Instruct系列模型（1.5B, 3B, 7B）作为RL的冷启动起点。

3. 强化学习核心设计 (Reinforcement Learning)

基于 rLLM 框架，主算法采用 GRPO，损失函数移除了 KL 惩罚并增加了 clipping bounds ($\epsilon_{\text{high}}$) 以鼓励探索。算法目标是最大化 Surrogate Advantage：

$$ \mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{q \sim \mathcal{D}, \{\mathcal{H}^{(i)}\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}} \left[ \frac{1}{G} \sum_{i=1}^G \sum_{j=1}^{|\mathcal{H}^{(i)}|} \frac{1}{|\mathcal{H}^{(i)}|} \min \left( \rho_j^{(i)} \hat{A}^{(i)}, \text{clip}(\rho_j^{(i)}, 1 - \epsilon_{\text{low}}, 1 + \epsilon_{\text{high}}) \hat{A}^{(i)} \right) \right] $$

为了全面探索设计空间，论文构建了一个包含从密集到稀疏的光谱化奖励函数体系：

实验设置与结论分析 (7 Key Takeaways)

本文通过严格的控制变量法，在 TravelPlanner (域内) 和 7 个知识密集型 QA 数据集 (域外 OOD) 上得出了7条极其具备实操价值的“Recipe”：

  1. 奖励设计与模型规模强相关，纯稀疏奖励不适用长周期：1.5B和3B这种小模型在长周期信用分配上很吃力，极度依赖阶段性引导的 CURRICULUM 奖励才能收敛并达到性能上限。相反，7B模型具备直接从细粒度 SUM 奖励中提取信号的能力，课程学习反而会略微限制其发挥。
  2. 过分密集的奖励会带来“对齐税 (Alignment Tax)”：虽然 SUM 奖励让7B在域内任务取得62.8%的最高胜率，但其域外OOD泛化能力惨遭破坏（平均仅36.7%，低于其SFT基座的41.9%）。这表明过度依赖Task-specific的密集奖励会导致模型对特定环境格式过拟合。采用半稀疏的 MACRO 可以在域内和域外性能上达到最佳平衡。
  3. 模型规模缩放 (Model Scaling) 是硬道理：从1.5B扩大到7B，不仅大幅加快了收敛速度，降低了方差，还将成功率几乎翻倍 (33.1% -> 62.8%)。基础模型容量依然是复杂Agentic任务的核心瓶颈。
  4. RL 数据规模存在“Sweet Spot” (最佳甜点区)：训练数据从100条增加到1K条时，性能稳步上升；但继续增加到2K条时，虽然域内成功率微涨，但OOD泛化能力显著下降。RL只需要适度规模、高质量的数据子集来“激活”推理能力，过度优化会牺牲通用性。
  5. 平衡的数据难度能防止稀疏奖励崩塌：如果只用Easy数据，模型学不到复杂约束；如果只用Hard数据，模型几乎拿不到正向Reward，导致性能直接崩塌。采用 4:3:3 (Easy:Medium:Hard) 的混合分布才能兼顾稠密奖励引导与复杂问题解决。
  6. 复杂探索算法的必要性与模型能力成反比：在1.5B级别，采用启发式探索的 DAPO 和 ARPO 算法显著优于 Vanilla GRPO。但在7B级别，GRPO 凭借底层模型强大的原生推理能力，直接登顶 (62.8%)。这提示我们在Scale模型时，无需在复杂RL启发式算法上浪费算力，直接用高效的GRPO即可。
  7. 智能体环境稳定性对训练至关重要：在训练中注入随机的工具失效报错。当错误率低于5%时，Agent能保持鲁棒性；但当错误率达到10%时，收敛速度、训练稳定性和最终测试成功率均出现断崖式下跌。

关键技术亮点分析

Meta-Reinforcement Learning with Self-Reflection for Agentic Search

基于自我反思的元强化学习在智能体搜索中的应用

作者：Teng Xiao, Yige Yuan, Hamish Ivison, 等

机构：Allen Institute for AI (AI2), University of Washington

📄 查看 ArXiv 原文

🔍 研究背景与痛点 (Background & Pain Points)

随着语言模型推理能力的提升，基于大语言模型（LLMs）的智能体搜索（Agentic Search）在处理多跳、多步推理任务时展现出巨大潜力（如 Deep Research）。目前，主流的范式是使用 RL + ReAct 框架对模型进行端到端优化，例如使用 PPO 或 GRPO 算法。

然而，这种方法面临着严重的瓶颈：极度稀疏的奖励（Sparse Outcome Rewards）。

💡 核心贡献 (Core Contributions)

为解决上述痛点，本文提出了 MR-Search（Meta-Reinforcement Learning Search），将智能体搜索建模为一个包含自我反思的 In-context Meta-RL 过程。它的核心思想是将原本孤立的多次尝试，串联成一个不断吸取教训的序列，让模型“学会如何反思和探索”。

  1. 引入 In-context Meta-RL 架构： 放弃了优化孤立 episode 的传统做法，转而训练一个以过去 episodes 的反思作为 Context 的策略模型，鼓励跨 Episode 的知识整合。
  2. 提出基于多轮反思的奖励计算机制： 通过 Turn-level Grouped Relative Advantage 进行优化，实现了细粒度的信用分配，无需借助外部 Critic 模型（Critic-free），也不会带来额外的 PRM 推理开销。
  3. 显著提升效果与泛化性： 在无需额外监督数据的情况下，仅用 3B/7B 规模的模型，在 8 个多跳 QA 基准测试中实现了相比强基线（Search-R1） 9.2% 到 19.3% 的相对性能提升。

📝 具体案例剖析 (Case Study: Cross-Episode Reflection)

通过论文中的 Case Study 1，我们可以清晰地看到 MR-Search 模型在推理时是如何进行“反思-再探索”的：

洞察： 在传统 RL 中，输出 2015 就会被判定为 0 分，模型根本不知道如何改进。而在 MR-Search 中，错误的答案成为了下一步检索的基石，让试错过程成为有效的 Exploration。

⚙️ 方法论与技术实现 (Methodology)

1. 跨 Episode 的元强化学习建模

在传统的基于 RL 的智能体搜索中，一次执行轨迹定义为 $a = (\tau_0, \alpha_0, x_0, \dots, \tau_{T-1})$。而在 MR-Search 中，完整的优化单元变成了 Meta-episode $y = (a_0, a_1, \dots, a_N)$。其中每个 $a_n$ 依赖于前面的上下文：

$$ a_1 \sim p_\theta(a_1 | a_0), \quad a_2 \sim p_\theta(a_2 | a_0, a_1) \dots $$

优化的元级别目标最大化 Meta-episode 的期望衰减奖励：

$$ \mathcal{J}_{meta}(\pi_\theta) = \mathbb{E}_{y \sim \pi_\theta} \left[ \sum_{n=0}^{N-1} \gamma^n f_{verifier}(o_n, o^*) \right] $$

2. 基于 RLOO 的多轮组级优势估计 (Multi-Turn Advantages)

为了在避免训练额外 Critic 价值模型的同时解决多步奖励分配问题，论文采用了基于 RLOO (Leave-One-Out) 的思路来估计优势（Advantage）：

对于每个 prompt，采样一个包含 $G$ 个 Meta-episodes 的组 $\mathcal{G} = \{y_i\}_{i=1}^G$。模型计算该 Episode 在同一反思轮次 $n$ 相比于组内其他成员的相对奖励 $\tilde{r}_{i,n}$：

$$ \tilde{r}_{i,n} = r(s_{i,n}, a_{i,n}) - \frac{1}{G - 1} \sum_{j \neq i} r(s_{j,n}, a_{j,n}) $$

为引入长时间视野的信用分配，再计算一个累计的衰减优势（向后传播）：

$$ A_{i,n} = \sum_{n'=n}^N \gamma^{n'-n} \tilde{r}_{i,n'} $$

3. PPO 代理目标优化

最后，将估计出的无偏且稠密的 $A_{i,n}$ 结合到标准的 PPO Surrogate Loss 中进行参数更新。这使得每个 token 既能获取当前的 local step 反馈，又能被最终全局的 trajectory quality 所指导。

📊 实验设置与结论分析 (Experiments & Analysis)

🌟 关键技术亮点分析 (Key Technical Highlights)

  1. 降维打击 Sparse Reward： 在 Agent RL 领域，解决 Sparse Reward 的通常路径是走“重资产”路线（训练一个庞大的 PRM/Critic）。本文走了一条“四两拨千斤”的路：用 Prompt 层面的 Context 连接将轨迹拉长，利用 RLOO 算法将单个 Outcome 转换成了序列上的相对差异优势。
  2. 自适应的 Exploration vs Exploitation： 论文中提到，如果在计算梯度时人为对前两次（Exploration）不给奖励，只对最后两次（Exploitation）计算奖励，能够进一步促使模型在前面专注于收集信息，而不是急于给结论。这种设计高度契合复杂 Agent 的作业流。
  3. 消除 Reward Hacking： 由于没有任何辅助价值模型介入（完全基于 Verifier 的客观准确度和 RLOO 统计量），训练过程极为稳定，规避了强化学习微调中经典的 Reward Hacking 和模式崩塌问题。