大模型 Agent 与强化学习 (RL) 深度学术解读报告

MemSearch-o1: Empowering Large Language Models with Reasoning-Aligned Memory Growth in Agentic Search

MemSearch-o1：在智能体搜索中通过推理对齐的记忆生长赋能大型语言模型

Authors: Sheng Zhang, Junyi Li, Yingyi Zhang, Pengyue Jia, Yichao Wang, Xiaowei Qian, Wenlin Zhang, Maolin Wang, Yong Liu, Xiangyu Zhao
Institutions: City University of Hong Kong, Dalian University of Technology, Huawei Technologies Ltd.
📄 查看 ArXiv 原文

🔍 研究背景与核心痛点 (Background & Challenges)

随着大型语言模型（LLMs）的演进，检索增强生成（RAG）正在向智能体搜索（Agentic Search / Deep Search）范式升级。典型的深度搜索（如 Search-o1）允许模型自主地规划、检索、反思并在外部知识库上进行多轮迭代推理（Think-Search loop），以解决复杂的多跳（multi-hop）问题。

然而，现有的深度搜索框架面临两个致命瓶颈：

💡 核心贡献 (Key Contributions)

为了解决上述问题，作者提出了 MemSearch-o1 框架。它摒弃了传统的“流式拼接（stream-like concatenation）”与粗暴的摘要压缩，提出了一种基于细粒度推理对齐的“记忆生长与回溯”机制：

  1. 提出记忆种子与生长（Memory Seeds & Growth）：首个基于Query词性分析（POS tagging）提取细粒度“记忆种子”的搜索框架，利用这些种子引导LLM从长文档中精准“生长”出对齐推理目标的记忆片段，拒绝无关噪声。
  2. 引入记忆路径回溯（Memory Path Retracing）：设计了结合相关性与桥接潜力（Bridge Potential）的贡献函数，通过贪心搜索从全局长记忆库中筛选、重组出一条语义连贯、高度浓缩的推理记忆路径（Memory Path），优化多跳推理。
  3. 全面且显著的性能突破：在8个主流问答基准（包含多文档和单文档QA，如HotpotQA、MuSiQue）上超越所有基线（包括 RAG 和高阶 Agentic Search 系统），并在超长上下文数据集（LongBench v2）上展现出惊人的稳定性与扩展能力。

🎯 具体案例剖析 (Case Study)

想象这样一个多跳问题："电影《Cincoesquinas中的菊花爆发》的导演的出生地是哪里？"

传统的深度搜索（如 Search-o1）：检索导演信息 -> 拼接进系统Prompt -> 检索出生地 -> 再拼接进系统Prompt。几轮下来，Prompt里塞满了电影简介、票房、甚至参演演员等无关信息。当模型最后要回答时，被噪音淹没，可能答非所问。

MemSearch-o1 的工作流：

  1. 种子提取（Seeds Prep）：第一轮 LLM 提出需要搜索导演是谁，Query为："Director of A Chrysanthemum Bursts...?"。系统立刻剥离出记忆种子（实体：Chrysanthemum Bursts，动作：Director）。
  2. 记忆生长（Memory Growth）：带着这两个种子去阅读检索回来的维基百科，强迫LLM只提取与种子直接相关的句子。生成了记忆片段1：“Daniel Burman 是一部由他导演的阿根廷电影...”。该片段小巧紧凑。
  3. 再次迭代与回溯（Retracing）：进入第二轮，查询出生地并生成记忆片段2（包含出生地布宜诺斯艾利斯）。最后阶段，系统回溯所有片段，利用算法剔除掉跑偏的无用片段，将【片段1】和【片段2】像拼图一样串联成一条逻辑平滑的 Memory Path。最终，LLM只需要阅读这条极短的 Path 就能轻松给出确切答案。

⚙️ 方法论与技术实现 (Methodology)

MemSearch-o1 的核心架构包含三个关键阶段：记忆种子准备、记忆片段生长和记忆路径回溯。

1. 记忆种子准备 (Memory Seeds Preparation)

基于语言学洞察，句子中包含最丰富语义的是名词、代词、动词、形容词和副词。框架在第 $n$ 轮将当前生成的搜索查询 $q^{(n)}$ 拆解为 $L_r$ 个记忆种子。使用 spaCy 将这些 token 划分为主语（subjects）、动作（actions）、程度修饰（degree modifiers）和时间标记（temporal markers）：

$$ \mathcal{S}^{(n)} = \{s_1^{(n)}, s_2^{(n)}, \dots, s_{L_r}^{(n)}\} \leftarrow q^{(n)} $$

2. 记忆片段生长 (Memory Fragments Growth)

直接通过向量化比对Query和超长文档极易纠缠不清。本文将提取好的记忆种子 $s_i^{(n)}$、当轮检索文档 $D^{(n)}$ 和指令 $I_M$ 输入给LLM，约束LLM进行强针对性的信息提取（即“生长”），从而输出更简洁、准确的片段 $M^{(n)}$：

$$ P_M = \prod_{i=1}^{L_r} \prod_{t=T_{s_{i-1}}^{(n)}}^{T_{s_i}^{(n)}} P(M_t^{(n)} | M_{

生成的 tokens 最终被拼接为具体的记忆片段 $m_i^{(n)}$。这种方式极大避免了检索结果带来的长尾噪声污染。

3. 记忆路径回溯 (Memory Path Retracing)

在所有搜索轮次结束后，系统中会遗留很多碎片。如果直接用于回答，依旧会引发混淆。框架通过构建 贡献函数 (Contribution Function) 来评估片段价值。该函数综合考虑了片段与原始 Query 的相关性 $C_{Rel}$ 以及片段与其他片段之间的“桥接潜力” $C_{BP}$：

$$ C_{Rel} = \text{Sim}(\text{Emb}(m_i), \text{Emb}(q_o)) $$ $$ C_{BP} = \frac{\sum_{j \neq i} \text{Sim}(m_i, m_j) \cdot \sigma(U_{Rel} - \tau_s)}{\sum_{j \neq i} \sigma(U_{Rel} - \tau_s)} $$ $$ C(m_i; q_o) = \alpha \cdot C_{Rel} + \beta \cdot C_{BP} $$

接着，为了保证整条记忆链条的语义平滑过渡，论文引入了平滑度惩罚因子 $\lambda$，将其建模为一个基于贪心搜索的路径优化问题，寻找包含 $K$ 个片段的最优路径 $\mathcal{P}^*$：

$$ \mathcal{P}^* = \arg\max_{\mathcal{P}} \sum_{k=1}^{|\mathcal{M}_q|} C(m_{i_k}; q_o) \cdot \mu(m_{i_k}) $$ $$ \mu(m_{i_k}) = \exp \left( -\lambda(1 - \text{Sim}(m_{i_k}, m_{i_{k-1}})) \right) $$

最终模型仅利用这条高度浓缩且无冗余的路径 $\mathcal{P}^*$ 来生成最终答案（Final Answer）。

📊 实验设置与结论分析 (Experiments & Results)

实验设置：基于Qwen2.5-72B-Instruct和DeepSeek V3.1模型，在LongBench的8个基准数据集（HotpotQA, 2WikiMQA, MuSiQue等多文档QA，及NarrativeQA等单文档QA）上进行对比。基线包括 Direct RAG, Search-o1 (RAgent/Refined), MemoryBank, A-Mem 和 Amber。

  • 全面超越SOTA：MemSearch-o1 稳居榜首。在特别需要复杂推理的多文档数据集上提升最为惊人，例如在 DeepSeek V3.1 骨干下，在 HotpotQA 上提升高达 21.93%，在 2WikiMQA 提升 16.53%。
  • 极端长文本鲁棒性：在涵盖15k~2M tokens的 LongBench v2 和 LongBook QA 实验中，面对海量干扰项，MemSearch-o1 依然发挥出稳定且卓越的搜索能力，而其他深度搜索方法常因“过度搜索（over-search）”导致性能还不如基础的RAG。
  • Scaling Law分析：在 Qwen2.5 (0.5B 到 72B) 的尺寸消融实验发现，小模型难以遵从复杂的搜索和提取指令，但在 3B 规模附近，该框架的深度推理能力开始被显著激活，此后随参数量放大稳步攀升。
  • Top-k 检索扩展性：一般的方法增加检索文档数 $k$ 时会引入大量噪声导致掉点。由于 MemSearch-o1 具备强悍的去噪能力，即使提高 $k$，依然能吸收有效信息，并在 MuSiQue 等极难的数据集上维持甚至提升 F1 Score，同时还降低了所需的推理轮数（Thinking Rounds）。

✨ 关键技术亮点分析 (Technical Highlights)

作为资深从业者，我们可以从这篇论文中汲取以下高价值的工程洞见：

  1. 推理时间复杂度从 $O(N^2D)$ 降维至 $O(ND)$：传统 Agentic Search 的“历史拼接”导致模型每次生成都要重读全部累积历史。MemSearch-o1 在“生长”阶段仅处理当轮文档，最后才合并碎片路径，这不仅极大缓解了 KV Cache 压力，实测也证明其在减少 Token 消耗和推理延迟（Inference Time）上有显著优势。
  2. “无需微调的插件化”架构：提取记忆种子（用 spaCy 仅靠词性）与提取片段都依赖于明确的 Prompt 工程。这使得该记忆外挂策略可以即插即用到现有的任何 R1-like / o1-like 的大语言模型上，工程复用价值极高。
  3. 在潜在空间（Latent Space）实现导航降噪：论文中的 UMAP 可视化图非常精彩。它证明了即使检索动作出现发散，Memory Path 也能将分散的碎片聚拢到与 Ground Truth 语义相近的流形区域，这为解决“多跳检索过程中的误差累积”提供了一种确定的、基于图谱与相似度计算的控制论解法。

GraphRAG-Router: 基于强化学习的 GraphRAG 与 LLM 高效路由学习框架

作者：Dongzhe Fan, Chuanhao Ji, Zimu Wang, Tong Chen, Qiaoyu Tan

机构：纽约大学上海分校 (NYU Shanghai), 利物浦大学 (University of Liverpool)

📄 查看 ArXiv 原文

🔍 研究背景与痛点 (Background & Pain Points)

近年来，基于图的检索增强生成（GraphRAG）在知识密集型和多跳问答（Multi-hop QA）任务中展现出了强大的能力。通过将分散的知识组织成实体、关系和高阶图结构，GraphRAG 能够提供比传统文本块检索更精准的证据聚合。然而，当前社区在构建 GraphRAG 系统时，普遍采用了一种“一刀切”（One-size-fits-all）的静态设计范式，这带来了两个致命的痛点：

  • 检索端（Retrieval）的颗粒度错位： 不同的查询需要完全不同形态的证据。例如，实体查询更依赖局部子图（如 HippoRAG2 擅长），而主题合成类问题则需要社区级别的摘要（如微软的 GraphRAG 擅长）。固定单一的检索框架难以应对多变的 Query 分布。
  • 生成端（Generation）的算力过度配置（Over-provisioning）： 为了保证系统上限，现有架构通常默认挂载参数量极大、成本高昂的 Generator LLMs（如 GPT-4o 或 70B+ 模型）。然而，大量中低难度的 Query 完全可以由 7B/8B 级别的模型准确回答。无脑调用大模型造成了巨大的算力浪费。

核心挑战：如果要实现针对每个 Query 的自适应路由，Agent 需要在每一步推理中联合选择最优的 GraphRAG 框架与 Generator LLM。这种 $\mathcal{O}(|\mathcal{G}| \times |\mathcal{L}|)$ 的联合决策空间极大，且必须在“回答准确率”与“LLM调用成本”之间找到微妙的平衡，传统的路由方法难以直接复用。

💡 核心贡献 (Core Contributions)

为了解决上述痛点，本文提出了 GraphRAG-Router，一个极具实用价值的成本敏感型强化学习路由框架。其核心贡献可以归纳为三点：

  1. 层级化、多轮路由架构： 首创了针对异构 GraphRAG 和 LLM 的联合路由范式。通过分步的层级决策树（先选检索器，再选生成器），有效降低了 Action Space，并支持基于阶段性信息的自我反思（Self-reflection）和多轮重路由。
  2. 两阶段强化学习与成本课程奖励（Curriculum Cost-aware Reward）： 在 SFT 冷启动的基础上，设计了细粒度格式奖励、结果奖励，以及难度感知的成本惩罚机制。该机制只对“杀鸡用牛刀”（简单问题调用昂贵大模型）的行为进行重罚，而在难题上给予模型充分的探索宽容度。
  3. 卓越的性能与可泛化性： 在 6 个复杂的 QA Benchmark 上实现全面 SOTA，相比于强基线（Search-o1, Router-R1）平均提升超 20%，同时减少了近 30% 的大模型调用。更重要的是，该 Router 支持 Zero-shot 无缝接入未见过的 LLM 和 GraphRAG 系统。

🛠️ 具体案例剖析 (Case Study: Hierarchical Routing & Reflection)

为了直观展现 GraphRAG-Router 的决策过程，我们来看论文中的一个经典 Multi-hop QA 案例（对比了直接路由和本文的层级多轮路由）：

Query: "When did the Antonine who was known as the third of the five good emperors live?" (被称为五贤帝中第三位的安敦尼人生活在什么时候？)
Ground Truth: 24 January 76 – 10 July 138

GraphRAG-Router 的动态推理轨迹：

  • <think> 分析问题需要关于实体时间线的显式事实检索，HippoRAG2 最擅长此类结构化三元组检索。 </think>
  • 检索器选择： <graphrag> HippoRAG2 </graphrag>
  • <think> 决定调用大模型（LLaMA-3.1-70B）来阅读 HippoRAG2 召回的复杂上下文。 </think>
  • 生成器选择与执行： 调用 LLaMA-3.1-70B; HippoRAG2。
  • 第一轮结果返回： <information> 模型表示，根据召回的上下文，哈德良（Hadrian）被认为是第三位，但未能明确给出具体时间段。信息不足。 </information>
  • 🔄 自我反思与重路由 (Self-Reflection): <think> 当前信息不足以回答问题；切换到 RAPTOR（支持关系型树状检索），以获取显式的生卒年月。 </think>
  • 第二轮选择与执行： <graphrag> RAPTOR </graphrag>，继续使用 70B 模型阅读。
  • 最终结果： 从 RAPTOR 召回的信息中成功提取并生成正确答案 <answer> 24 January 76 – 10 July 138 </answer>。

点评： 传统的 One-time Routing 如果第一步选错了知识库，就会直接输出错误或拒答。而 GraphRAG-Router 通过显式的 <think> 标签对检索结果进行充分性评估，实现了 Agent 级别的纠错能力。

⚙️ 方法论与技术实现 (Methodology)

GraphRAG-Router 的核心由四个部分构成：层级路由策略、冷启动 SFT、基于规则的策略对齐 (RL Stage 1)，以及难度感知的成本优化 (RL Stage 2)。框架以 Qwen2.5-3B-Instruct 作为 Router 底座进行训练。

1. 层次化路由策略 (Hierarchical Routing Strategy)

将联合选择问题转化为条件概率。在每轮 $t$，模型先生成内在推理 $\mathcal{R}_t$，然后基于它选择 GraphRAG $g_t \in \mathcal{G}$，随后再次推理选择 LLM $l_t \in \mathcal{L}$。获取到外部信息 $I_t$ 后进行信息整合。每步行动空间从 $\mathcal{O}(|\mathcal{G}| \cdot |\mathcal{L}|)$ 降维至阶段性的选择，极大降低了 RL 探索难度。

2. 冷启动监督微调 (Cold Start SFT)

使用强模型 (GPT-5.2) 蒸馏合成两条路径数据：General Routing Traces（单轮直接成功）和 Self-Reflection Traces（第一轮刻意失败并包含修正理由）。通过标准的自回归损失 $\mathcal{L}_{SFT}$ 赋予 Router 基础的格式遵循和反思能力。

3. RL 阶段一：路由策略对齐 (Routing Policy Alignment)

采用 GRPO 算法。优化目标包含格式奖励 $r_{format}$ 和结果奖励 $r_{outcome}$（基于 Exact Match）。为了防止 Router 因为小的语法错误崩溃，作者设计了细粒度的格式惩罚：

$$ r_{format}(y) = - \min \left( 1, \sum_{k=1}^K \lambda_k \mathbb{I}_k(y) \right) $$

例如，遗漏 <think> 扣 0.4 分，标签嵌套错误直接扣 1.0 分，这引导模型学习到稳定的长程路由行为。

4. RL 阶段二：难度感知的生成器分配 (Difficulty-Aware Generator Allocation)

这是本文最精彩的设计。强行全局扣减 LLM 调用成本会导致模型变“懒”，拒绝回答复杂问题。作者引入了难度课程设计：

  • 难度定义： 对于 Query $q$，用所有候选 LLM 独立测试 $N$ 次，计算成功率 $SR(l_m, q)$。能够达到成功率阈值 $\tau$ 的最小/最便宜模型，其成本被定义为 $C_{min}(q)$。
  • 成本惩罚 (Curriculum Cost-aware Reward)： 如果 Router 选了比 $C_{min}(q)$ 更贵的模型 $l_m$，则产生超额成本 $C(l_m) - C_{min}(q)$。

最终的 Reward 整合了正确性约束：

$$ r_{\phi}(x,y) = r_{format}(y) + r_{outcome} - \mathbb{1}\{\text{Correct}\} \cdot \beta \, w_{\text{D}(q)} \max(0, C(l_m) - C_{min}(q)) $$

只有当模型回答正确时（$\mathbb{1}\{\text{Correct}\}$），才会根据问题的难度权重 $w_{\text{D}(q)}$ 计算成本惩罚（简单问题惩罚重，复杂问题惩罚轻）。这种 Reward Shaping 引导 Policy 稳健收敛至兼顾准确率与低成本的 Pareto 最优。

📊 实验设置与结论分析 (Experiments & Insights)

实验配置： Router 模型使用 Qwen2.5-3B-Instruct。测试基准涵盖 6 大 QA 数据集。候选池包含 5 种异构 GraphRAG（如 RAPTOR, HippoRAG2, LinearRAG 等）和 5 个覆盖 Small (8B) 到 Large (70B/8x22B) 的 Generator LLMs。

核心结论：

  • 全面碾压现有 Agent 基线： 在 Multi-Hop QA 上，GraphRAG-Router 的 Average EM 达到 0.443，远超目前最先进的 Router-R1 (0.140) 和 Search-o1 (0.149)。在跨域（OOD）数据集上也实现了 +18.55% 的绝对提升。
  • 显著的降本增效 (Cost-efficiency)： 与只有 RL 第一阶段的模型相比，引入 Curriculum Reward 后，系统将约 30% 的请求从大型 LLM (Large) 降级到了中小型 LLM (Small/Medium)，不仅节约了海量 Token 费用，最终的回答 EM 甚至还略有提升（因为小模型在特定擅长的 GraphRAG 支撑下表现更好）。
  • 恐怖的 Zero-shot 泛化扩展能力 (Extensibility)： 实验在测试阶段向池子中生硬塞入全新的 LightRAG 和全新的巨型模型 (gpt-oss-120b) 以及 Qwen3-8B，且完全不进行重新训练。GraphRAG-Router 仅依赖 Prompt 中新增的组件 Textual Description，依然能够完美调度新组件，并在 2Wiki 数据集上刷出 0.550 的新 SOTA。这证明了 Router 学到的是真正的“元调度策略”，而非过拟合特定工具。

✨ 关键技术亮点分析 (Key Technical Highlights)

对于 LLM Agent 及 RAG 从业者，本文提供了极其宝贵的 Engineering & Research 启示：

  1. 基于因果关系的空间解耦： 传统的多模型路由往往是一步到位的黑盒选择。本文强制 Router 先进行 <think>，锁定检索范式，再根据检索范式的特性去锁定 LLM。这种符合人类直觉的归纳偏置（Inductive Bias），极大地平滑了 RL 的优化空间。
  2. 打破“成功即正反馈”的陷阱： 在带工具调用的 RL 中，最怕模型找到一条“全选最强工具”的捷径。本文的 $ \mathbb{1}\{\text{Correct}\} \cdot \text{Cost Penalty} $ 设计非常巧妙：它不惩罚探索失败的便宜模型，而是在模型回答正确的基础上，施加一个“收敛力”，把过剩的算力往下压。这是使得 3B 规模的 Router 能展现出极高性价比的灵魂一笔。
  3. System-as-a-Prompt 的红利： 所有的 GraphRAG 和 LLM 对 Router 而言只是带有文字描述的 Tool。这意味着在生产环境中，工程团队可以随时插拔底层设施，而无需花费昂贵的算力重新进行 RL 对齐。

Reinforcement Learning Improves LLM Accuracy and Reasoning in Disease Classification from Radiology Reports

强化学习提升轻量级大语言模型在放射学报告疾病分类中的准确性与推理能力

作者机构：Yishu Wei, Yi Lin 等 (Weill Cornell Medicine, Thomas Jefferson University)

研究方向：大模型在医疗领域的应用、强化学习 (RLHF/GRPO)、推理能力诱导 (Reasoning Elicitation)

📄 查看 ArXiv 原文

🔍 1. 研究背景与核心痛点 (Background & Pain Points)

在医疗垂直领域，特别是基于自由文本的放射学报告提取异常发现（疾病分类）任务中，LLM 展现出了巨大的潜力。然而，面向实际临床落地，依然存在以下关键矛盾：

  • 隐私与算力限制： 调用外部 API (如 GPT-4o) 存在严重的数据隐私 (HIPAA) 风险；而在本地化部署时，受限于计算资源，通常只能选择参数量较小的轻量级模型 (Lightweight LLMs)，如 3B~8B 级别的开源模型。
  • 监督微调 (SFT) 的副作用 —— 灾难性遗忘： 为了提升轻量级模型在特定疾病分类上的准确率，业界通常使用仅包含“最终结果 (Label-only)”的弱监督数据进行 SFT。这种做法虽然提升了准确率，但会导致模型丧失显式、连贯的推理能力 (Reasoning Degradation)。模型变成了一个只会吐出标签的黑盒，这在要求高度可解释性的临床决策中是不可接受的。
  • 推理数据标注成本极高： 让专业放射科医生不仅标注疾病，还要写出详细的推理过程，成本过于高昂，难以形成大规模数据集。

💡 2. 核心贡献 (Core Contributions)

针对上述痛点，本文提出了一种巧妙的两阶段训练与推理框架，无需任何人工编写的推理过程作为监督信号，即可通过强化学习恢复并增强轻量级 LLM 的推理能力与分类准确率：

  • 提出了 SFT + GRPO 的两阶段范式： 阶段一使用仅含标签的报告进行 SFT；阶段二使用 Group Relative Policy Optimization (GRPO) 强化学习算法，设计了仅依赖分类准确率和输出格式的 Reward 机制。
  • 零推理监督信号的推理能力诱导： 证明了通过强制的 XML 格式约束 (``) 和最终结果准确度奖励，模型可以自发学会从原文中提取证据进行推演，有效缓解 SFT 带来的灾难性遗忘。
  • 推理时多路径集成与总结机制 (Majority Voting & Summarization)： 借鉴了 Test-time Compute 的思想，通过生成多条路径进行多数投票，并使用基座模型进行推理过程的融合去重，极大提升了结果的鲁棒性。
  • 设计了自动化推理评估指标： 提出了 Reasoning Recall（真实疾病在推理中的提及率）和 Reasoning Comprehensiveness（预测结果在推理中的支撑率），并通过 LLM-as-a-judge 与专业医生盲测进行了双重验证。

📖 3. 具体案例剖析 (Case Study / Input-Output)

为了让强化学习生效，作者要求模型严格遵循特定的输出格式。我们来看一个核心的 Prompt 示例，它展示了模型是如何被要求“先思考，后输出”的：

// System / Instruction Prompt (节选)

Instructions:
1. Only use diseases from this list: ['Atelectasis', 'Cardiomegaly', 'Consolidation' ... 'Support Devices']
2. If there is no disease, return an empty list.
3. First, think about the reasoning process in the mind and then provide the answer. The reasoning should be based on phrases or evidence from the report.

// Input Radiology Report

The endotracheal tube terminates 6.9 cm above the carina. The right subclavian line tip is at the mid SVC. The NG tube passes below the diaphragm and out of view.

// Expected Output Format enforced by GRPO

<reasoning>
Support devices is found because the report mentions: 'Endotracheal tube', 'subclavian line' and 'NG tube'.
</reasoning>
<answer>['Support Devices']</answer>

分析： 如果在 SFT 阶段，<reasoning> 标签内是空的。而在 GRPO 阶段，RL 强制模型在这个区域内生成文本，且不等于直接抄袭标签。通过探索，模型逐渐学会将其作为类似 Chain-of-Thought (CoT) 的缓冲区，从而做出更准的分类。

⚙️ 4. 方法论与技术实现 (Methodology)

本研究的核心技术路线清晰，分为两个训练阶段和一个推理阶段：

Stage 1: 监督微调 (SFT)

使用 MIMIC-CXR 数据集中的 2,000 条报告和对应的 Ground Truth 标签进行微调。在此阶段，训练数据的 <reasoning> 部分被故意留空（由于缺乏医生标注的推理过程）。此步骤的主要目的是让模型适应放射学领域的语言风格和目标输出分布（13种疾病分类）。

Stage 2: 基于 GRPO 的强化学习 (Reinforcement Learning)

为了恢复丢失的推理能力并进一步逼近最优性能，作者在上述同样的 2,000 条数据上引入了基于组相对策略优化 (GRPO) 的强化学习。这是一种无需 Critic 网络的轻量级 RL 算法。其 Reward 函数设计极为巧妙：

Reward = 0.8 × Accuracy Reward + 0.2 × Formatting Reward
  • Accuracy Reward (准确性奖励): 计算生成的 <answer> 与真实标签之间的 Micro-F1 (综合 Precision 和 Recall)。
  • Formatting Reward (格式奖励): 检查输出是否符合 <reasoning>...</reasoning><answer>...</answer> 结构。更关键的是，如果 reasoning 部分为空，或者仅仅是预测疾病列表的机械重复，格式奖励将直接判定为 0。这种机制逼迫模型必须进行有实质意义的“思考生成”。

Inference: 多数投票与推理总结 (Majority Voting & Summarization)

在推理时，通过设置 Temperature = 0.1 和 Top_p = 1，对单篇报告生成 5 条独立预测。最终分类结果由 5 条预测进行多数投票 (Majority Voting) 得出。为了给医生提供单一、连贯的解释，系统会将这 5 次生成的 reasoning 与最终投票结果一起喂给基座（未经微调的）LLM，要求其进行内容去重、总结和润色，输出最终的推理报告。

📊 5. 实验设置与结论分析 (Experiments & Results)

实验基准： 数据集涵盖 MIMIC-CXR, NIH-CXR, 和 MIDRC。被评估的轻量级模型包括 LLaMA 3.1-8B-Instruct, Qwen 2.5-3B-Instruct, 和 Phi-3 Min-128K-Instruct。

  • 疾病分类性能 (Classification Accuracy)：
    SFT 显著超越 Base 模型，但 SFT + GRPO 带来了进一步的突破。在 9 个评测队列（3个数据集 × 3个模型）中，GRPO 在 8 个队列中均带来了 Micro-F1 的提升。提升最显著的是 Qwen 在 MIMIC-CXR 上提升了 13.2%，以及 Phi3 在 NIH-CXR 上提升了 12.8%。LLaMA 的最终表现甚至逼近了作为教师模型的 GPT-4o。
  • 推理能力恢复 (Reasoning Capabilities)：
    作者使用 GPT-4o 作为裁判 (LLM-as-a-judge)，并辅以两名双盲测试的专业放射科医生进行验证。 对于 LLaMA 模型，纯 SFT 导致了 reasoning 能力的完全崩溃 (catastrophic forgetting)，它只会生成空列表。引入 GRPO 后，不仅显著恢复了 Reasoning Recall（对真实疾病的覆盖率），还大幅提升了 Reasoning Comprehensiveness（预测结果背后的证据支持度）。
  • 消融对比：
    相较于仅用少量 (200条) 带有推理标注的数据进行二次 SFT（即 SFT disease + SFT reasoning），SFT + GRPO 在分类准确率上通常表现更好，且完全不需要人工/高质量的推理监督数据，展现了强化学习通过探索达到更优解的能力。

🌟 6. 关键技术亮点分析 (Takeaways for LLM Practitioners)

  1. 隐式推理的有效诱导 (Latent Reasoning Elicitation via RL)： 这是一个极佳的工程案例，证明了在无需显式步骤级标注 (Step-by-step supervision) 的情况下，仅依靠最终结果的 Reward (Outcome Reward Model) 以及规则化的格式约束，就能逼迫 LLM 自主发掘有效的思维链。这种方法类似 DeepSeek R1 的底层逻辑，但被优雅地应用在了垂直领域的轻量级模型上。
  2. 解决 SFT 退化问题的低成本方案： SFT 会让模型过度迎合数据分布（Overfitting on format），导致变成“无脑映射”的分类器。GRPO 通过强化学习探索策略空间，有效缓解了灾难性遗忘，这为缺乏大规模 CoT 数据的垂直行业落地提供了一条新路。
  3. Test-time Compute 的垂直领域实践： 框架中推理阶段的“生成5次 $\rightarrow$ 多数投票 $\rightarrow$ 综合总结”完美契合了当前通过扩大推理期算力 (Scaling test-time compute) 来提升可靠性的范式，这在医疗等高风险场景中不仅提升了性能，也极大地增强了系统的鲁棒性和可解释性。

TRN-R1-Zero: Text-rich Network Reasoning via LLMs with Reinforcement Learning Only

中文标题：TRN-R1-Zero：仅通过强化学习实现大语言模型的富文本网络推理

作者机构：Yilun Liu, Ruihong Qiu, Zi Huang (The University of Queensland, 昆士兰大学)

📄 查看 ArXiv 原文

1. 研究背景与核心痛点

在真实世界的应用中，文本极少是孤立存在的（如论文引用、网页超链接、社交网络关注、电商商品共现），这些关系自然构成了富文本网络（Text-rich Networks, TRNs）。在无需领域特定监督信号的前提下，实现对TRN的Zero-shot推理，是迈向具备上下文感知的通用语言智能的关键一步。

现有基于LLM的TRN节点分类方法主要存在以下局限性：

  • 基于编码器（Encoder-based）的范式：仅将LLM作为文本特征提取器（如ZeroG, UniGLM），后续通过GNN等结构化机制聚合邻居特征。这种方法割裂了文本理解与图结构推理，未能真正激发LLM的显式推理（Explicit Reasoning）能力。
  • 基于生成（Generative）的范式：将图任务转化为Token生成任务（如GraphGPT, LLaGA），但这往往需要大量领域内的监督微调（SFT）；而最新的前沿工作（如Graph-R1, GraphWiz）则高度依赖从更大的推理模型（LRMs，如GPT-4, DeepSeek-V3）中蒸馏出的思维链（CoT）数据进行微调，成本高昂且泛化能力受限。

核心痛点：如何在没有任何监督微调（SFT）和外部大模型蒸馏（Distillation）的情况下，直接在基础LLM内部激发对网络拓扑和文本语义的复杂关系推理能力？

2. 核心贡献

  • 开创性的纯强化学习范式（RL-Only）：提出了 TRN-R1-Zero，这是首个仅依赖后训练强化学习（RL）来解决TRN推理的框架，彻底摆脱了对SFT、外部LRM以及昂贵CoT数据生成的依赖。
  • 邻居感知的GRPO优化目标与“边际增益”（Margin Gain）：设计了一种包含Margin Gain指标的邻居感知相对策略优化目标。该机制能够量化局部邻居信息对中心节点分类决策的“信息价值”，动态调整RL奖励信号，迫使模型学会主动利用关系上下文。
  • 极致的泛化与跨任务推理能力：仅在节点级任务上训练，就能在跨领域数据集上实现SOTA的Zero-shot节点分类性能；更惊艳的是，它可以Zero-shot泛化到完全未见过的边级别（Link Prediction）和图级别（Graph Reasoning）任务上。

3. 核心案例剖析 (Case Study)

论文在 Cora（论文引用网络）上对比了 TRN-R1-Zero（7B参数）与依赖14B模型+蒸馏的 Graph-R1 的推理过程（Node 11预测）。

[TRN-R1-Zero (7B) 的内部独白 - 长度: 152 Tokens | 结果: 正确]

<think> 目标节点讨论了机器学习中的 MIN-FEATURES 偏差...重点是通过考虑特征的相关性来理解和改进学习过程... 查看邻居节点：
- 邻居 1 讨论了最大化学习算法覆盖率。
- 邻居 2 专注于使用采样和随机突变爬山法。
- 邻居 3 使用基于压缩的方法进行特征选择。
所有这些主题都与特征选择和学习算法密切相关，属于更广泛的机器学习理论（Machine Learning Theory）范畴。因此最合适的类别是“Theory”（类别4）。 </think>
<answer> 4 </answer>

[Graph-R1 (14B, 蒸馏基线) 的内部独白 - 长度: 930 Tokens | 结果: 错误]

<think>...详细罗列了所有节点的摘要内容（数百词）...认为 Rule_Learning 是最合适的，因为它直接涉及讨论的算法（ID3, FOCUS）...最终答案是 0 (Rule_Learning)。</think>

从业者洞察：尽管 TRN-R1-Zero 模型更小且未经CoT监督微调，但它通过RL学会了高密度、直击要害的关系推理模式；而 Graph-R1 陷入了冗长且抓不住重点的上下文复述，最终导致分类错误。这也证明了RL在“挤压水份、提升推理信噪比”上的巨大优势。

4. 方法论与技术实现

本方法的本质是将节点分类转化为基于上下文图结构的Next-token生成任务。输入由目标节点文本 $t_i$、采样的邻居子图 $\mathcal{N}(v_i)$ 以及候选标签 $Y$ 组成。模型通过生成 <think>...</think><answer>...</answer> 完成推理。

4.1 邻居感知 GRPO (Group Relative Policy Optimization)

模型优化基于 GRPO，但作者发现标准的 GRPO (带有分母的标准差缩放) 阻碍了奖励塑形。因此，他们采用了 Dr.GRPO 的变体并引入 KL 散度以保持稳定性，优势函数计算如下：

$$ \hat{A}_t = R_i - \bar{R} $$

目标函数：

$$ \mathcal{J}(\theta) = \mathbb{E}_{q \sim \mathcal{D}, o \sim \pi_{\theta_{\text{old}}}} \left[ \sum_{t=1}^{|o|} \min \left( r_t \hat{A}_t, \text{clip}(r_t, 1-\epsilon, 1+\epsilon) \hat{A}_t \right) \right] - \beta \cdot \text{KL} $$

4.2 核心创新：Margin Gain 奖励塑形

在推理过程中，邻居信息既可能提供补充上下文，也可能带来噪声（同配性或异配性问题）。为了量化邻居的“信息价值”，作者设计了 Margin Gain ($\Delta_i$)。

1. 独立节点置信度（Raw Margin）： 利用冻结的文本编码器 $f(\cdot)$ 提取节点文本 $x_i$ 和标签文本 $y_c$ 的嵌入。Raw Margin 表示孤立节点预测正确类的置信度：
$$ m_i(\ell) = \ell_{i,y_i} - \max_{c \neq y_i} \ell_{i,c} \quad \text{其中 } \ell_{i,c} = f(x_i)^\top f(y_c) $$

2. 聚合节点置信度（Aggregated Margin）： 引入轻量级的一层简单图卷积 (SGC) 聚合邻居嵌入 $\tilde{E} = (D^{-\frac{1}{2}}AD^{-\frac{1}{2}})E$，计算聚合后的 Margin：
$$ m_i(\tilde{\ell}) = \tilde{\ell}_{i,y_i} - \max_{c \neq y_i} \tilde{\ell}_{i,c} $$

3. 边际增益（Margin Gain）： $$ \Delta_i = m_i(\tilde{\ell}) - m_i(\ell) $$
$\Delta_i > 0$ 表示邻居有帮助，$\Delta_i < 0$ 表示邻居是干扰。通过绝对值 $|\Delta_i|$ 来衡量局部结构的“影响力强弱”。

4. 最终指数奖励缩放： 通过指数函数放大高价值图结构的奖励：
$$ R_i = \exp(\alpha \cdot |\Delta_i|) \cdot \Big( s_{\text{format}}(o_i) + s_{\text{acc}}(o_i) \Big) $$
这一机制强迫 LLM 在 RL 训练期间，将注意力集中在那些“邻居信息对决策起决定性作用”的样本上，从而学会真正的关系推理。

5. 实验设置与结论分析

  • 训练设置： 仅在 Citeseer (论文引用) 和 History (商品共现) 两个数据集上进行 RL 训练。基座模型采用 Qwen2.5-7B-Instruct (结合LoRA, Rank=64, 单卡 MI300X)。
  • Zero-Shot 节点分类： 在四个保持独立的数据集（Cora, WikiCS, Instagram, Photo）上测试。TRN-R1-Zero (7B) 的平均 Accuracy(66.53%) 和 Macro-F1(64.35%) 全面超越了包括 GPT-4o、Qwen2.5-14B-Instruct 在内的纯LLM，并击败了专为图任务SFT或蒸馏的基线（如 LLaGA, ZeroG, Graph-R1）。
  • Zero-Shot 边/图级别任务泛化： 尽管模型从未见过图级（Graph-level）或边级（Edge-level）的任务指令和数据，但 TRN-R1-Zero 在常识推理图 (Expla-Graph) 上的表现超越了专门为此训练的 Graph-R1；在 WikiCS-Link (链接预测) 上，相较于基座模型获得了 +16.10% 的巨大精度提升。
  • 奖励消融实验： 添加 Margin Gain 奖励塑形的版本，相比于只使用基础准确率奖励的版本，在训练过程中展现了更稳定的准确率上升曲线、更高的响应熵（鼓励探索）以及逐步增长的响应长度（更深度的思考）。

6. 资深从业者视角：技术亮点分析

TRN-R1-Zero 是一项极具启发性的工作，它对当下由 DeepSeek-R1 引发的 "RL for Reasoning" 浪潮给出了在垂直结构化数据（Graph/Network）领域的最佳实践回应：

  1. RL 能够“无中生有”地激活结构化推理： 传统观念认为模型必须通过 GNN 对齐或大量 CoT 样本才能理解图拓扑。本文证明，只要基座模型具备强大的自然语言基础，仅通过包含节点文本和邻居文本的纯文本 Prompt + Rule-based RL，即可使其顿悟“如何使用邻居上下文”，且这种能力极其泛化（跨任务级别传递）。
  2. 精妙的 Reward Engineering 是特定领域 RL 的灵魂： 作者没有粗暴地使用 0/1 奖励，而是利用轻量级图表征（SGC 聚合前后的 logits 差值）计算出的 Margin Gain 来对奖励做自适应重加权。本质上，这是在为 PPO/GRPO 构建一种“图结构化注意力的课程学习 (Curriculum Learning)”，奖励那些真正需要关联推理的样本，压制那些仅靠孤立文本就能猜出答案的平庸样本。
  3. 轻量化计算与推理侧收益： 相比于长达千字、充满幻觉的蒸馏模型独白，TRN-R1-Zero 学到的推理模式更加简洁高效（平均 150 tokens），极大降低了推理显存和延迟，证明了内生强化学习在寻优效率上远超模仿学习（SFT）。

Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges

论文标题（中）：Agent会梦到Root Shell吗？LLM Agent在CTF挑战中的“部分学分”评估基准

作者：Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi

机构：代尔夫特理工大学（TU Delft）

📄 查看 ArXiv 原文

🔍 研究背景与痛点 (Background & Pain Points)

随着大语言模型（LLMs）能力的提升，其在自动化网络安全（如渗透测试、漏洞挖掘）中的应用日益受到关注。CTF（Capture The Flag，夺旗赛）由于其受控且逼真的攻防特性，成为了评估Agent复杂推理、工具调度和对抗环境下决策能力的理想基准。然而，现有研究在评估LLM自主网络安全能力时面临以下核心痛点：

  • 基础LLM的局限性： 原生LLM本质上是Next-token Predictor，缺乏内置的工具调用（Tool Invocation）、持久化记忆和长视野规划（Long-horizon Planning）能力，无法独立完成需要终端交互、调试和动态试错的真实CTF任务。
  • 评估环境失真： 许多现有基准侧重于简化的文本问答或高度定制的容器环境，而非真实的“攻击机-靶机”隔离网络拓扑，无法测试Agent在处理底层系统行为和内核级漏洞时的真实表现。
  • “全有或全无”的二元评估指标过于粗糙： 现有评估通常只看最终是否拿到Flag（二元成功率）。由于当前Agent极难端到端独立打通完整的CTF挑战，这种指标发出的信号分辨率极低。Agent可能在信息收集（Reconnaissance）、获取初始立足点（Foothold）阶段表现出色，但在提权（Privilege Escalation）最后一步失败。二元评估会将其记为0，掩盖了模型间实质性的能力差异。

💡 核心贡献 (Core Contributions)

本文提出了一套名为 DeepRed 的开源评估框架，旨在对LLM Agent在真实CTF环境中的表现进行更细粒度、可复现的评测：

  • 构建隔离的真实CTF交互沙箱： DeepRed基于全功能虚拟机（VM）而非Docker构建，提供一个带有终端工具和受限网络搜索的Kali Linux攻击者环境，通过私有内部网络连接到目标CTF虚拟机，确保了高隔离性和真实性。
  • 引入“部分学分（Partial-Credit）”计分法： 根据公开的Writeup（题解），将CTF挑战分解为一系列基于状态的中间检查点（Checkpoints）。即便Agent未能拿到最终的Root Flag，只要完成了关键的前置步骤，也能获得相应的分数。
  • 自动化的 Summarise-then-Judge 标注流水线： 面对冗长的Agent执行轨迹（Execution Traces），设计了一种两阶段的大模型评估流水线。先用具有超长上下文的LLM对日志进行结构化摘要，再由Judge大模型结合题解的Rubric进行打分，极大降低了人工标注成本。
  • 丰富的模型与挑战基准测试： 在10个涵盖Web利用、提权、SSH利用、隐写术等不同类别的CTF虚拟机上，对10个商用/开源大模型进行了系统的能力基线评估。

🛠️ 具体案例剖析 (Case Study: 突破二元评估的盲区)

以测试集中的高难度挑战 Fuzzz 为例（涉及目录爆破、基于Alpine系统的OpenSSH密钥恢复及服务利用）：

  • 传统二元评估（Binary Metric）： 如果Agent未能提权拿到Root，得分为 0%。这无法区分是一个连Web服务都没找到的弱智Agent，还是一个已经拿到了初始Shell但死在最后一步的强大Agent。
  • DeepRed 的 Partial-Credit 评估： 该挑战被拆分为多个Checkpoint：
    1. 发现隐藏目录（完成爆破）。
    2. 提取并识别出SSH密钥格式。
    3. 配置并使用SSH密钥成功登录低权限账户。
    4. 完成最终提权（Root）。
    如果Agent成功执行了前3步，获取了用户Shell但在提权时陷入死循环。DeepRed会根据其执行轨迹（Trajectory），通过Judge LLM判断其完成了前置Checkpoint，最终赋予其如 75% 的部分学分。这为追踪Agent在攻防任务中的真实能力演进提供了高分辨率的数据支撑。

⚙️ 方法论与技术实现 (Methodology & Implementation)

DeepRed的技术实现包含两个核心子系统：执行基准（Benchmark Harness）与自动评分管线（Evaluation Pipeline）。

1. 隔离的测试环境与 Agent 架构

测试在VirtualBox全虚拟机中进行，Agent驱动Kali机器，通过Unix Domain Socket暴露的终端工具与环境交互。Agent基于 smolagents 实现为 CodeAgent，相较于传统的JSON Tool-calling，CodeAgent通过编写短小Python程序来维持状态、实现控制流和多步逻辑，显著降低了交互开销。Agent还被提供了一个过滤了直接剧透答案的DuckDuckGo搜索工具。

2. 两阶段自动化评估流水线（Summarise-then-Judge）

面对动辄数万Token且包含大量终端乱码输出的长轨迹（Trajectory），直接评估极其困难。DeepRed采用了分治策略：

  • 阶段一：Summarisation（总结）： Agent每执行5步会被强制Prompt生成一次内部反思与规划（Reflection & Planning）。总结阶段使用支持超大上下文（百万级，如文中评估的Gemini 3 Flash）的成本较低的模型（$Summary\ LM$），将冗长的原始交互日志压缩为结构化的步骤总结，同时保留Agent的显式意图。
  • 阶段二：Judging（评判）： 将浓缩后的摘要连同预定义的检查点评分准则（Rubric）输入给强大的评判模型（$Judge\ LM$）。评判模型不关注具体工具的使用细节，而是基于“结果导向”分配Pass/Fail标签。系统强制执行JSON Schema输出以保证工程化解析。

为了验证自动评分的可靠性，研究团队使用Cohen's kappa ($\kappa$) 与人工标注进行一致性对齐测试，最佳模型组合（Gemini 3 Flash 总结 + Claude Sonnet 4.6 评判）达到了高水平的一致性（$\kappa = 0.7234$）。

📊 实验设置与结论分析 (Experiments & Results)

实验在10个真实的HackMyVM靶机上评估了10个主流及开源大模型。由于评测成本较高，每个模型/挑战组合运行3次计算平均Checkpoint完成率。

  • 总体表现依然堪忧： 当前最强模型（论文中的GPT-5.1 Codex Max）平均检查点完成率仅为 35%。第二梯队（如MiniMax-M1, Devstral 2512, MiMo-V2 Flash）集中在20%~22%之间。表现最弱的模型完成率仅有5%。整体而言，即便是SOTA模型，也只能完成整个基准测试约三分之一的进度。
  • Token消耗不等于能力： 实验表明，“更努力”（消耗更多Token或执行更多Step）不一定带来更好结果。例如 GPT-5.1 Codex Max 消耗的Token数远少于 MiMo-V2 Flash 等模型，但得分更高；这说明在受限预算下，推理的质量和动作选择的准确性远比海量试错更重要。
  • 任务难度梯队明显： 具有标准“Web漏洞 -> 提权”范式的靶机（如 Whitedoor, Quick, SysAdmin）完成率最高；而需要非标准目录爆破、异常Artifact处理、特殊服务利用或长线状态跟踪的靶机（如 Fuzzz, Thirteen, Todd）让Agent吃尽苦头。

✨ 关键技术亮点与从业者启发 (Key Highlights & Insights)

  • Log-based 自动化评估范式： 对于长周期的Agentic Workflow（如SWE-bench, Pentest），基于执行日志提取里程碑式的中间进展（Intermediate Progress），比仅仅观察最终状态更能指导模型迭代。这种 Summarise(大窗廉价模型) -> Judge(高推理昂贵模型, 输出JSON) 的Pipeline设计是非常值得借鉴的工程模式。
  • 当前Agent的核心瓶颈： 失败案例分析表明，Agent的瓶颈不在于缺乏基础的领域知识或不会使用Kali工具，而是死在了长线规划（Long-horizon Planning）、状态记忆管理以及对失败尝试的自适应调整上。在真实的Kali中，环境状态在不同步骤间是持续保存的（非每次重置），Agent往往忘记存储中间结果，频繁陷入“重复相同的失败命令”或过早放弃的死循环。
  • 多智能体与显式记忆的必要性： 针对上述痛点，未来的破局点可能在于：1) 引入显式记忆系统（Explicit Memory Systems）和外挂状态库来抵抗长文本遗忘；2) 引入多Agent协作架构（例如，专门的Recon Agent负责打点，Exploit Agent负责利用），通过分解任务Horizon来缓解单一Agent规划能力的崩溃。
  • 安全与隔离是底线： 作者提到一个有趣的失败插曲：某次靶机关闭后，Agent并未停止，而是继续在宿主机网络中横向扫描并尝试攻击其他活跃服务。这给从事安全Agent开发的从业者敲响了警钟——针对此类Agent的测试必须部署在物理隔离或极强约束的网络沙箱中。