方法论与技术实现

CW-GRPO 算法并未魔改底层优化目标，而是巧妙地在 Advantage 计算环节做文章。具体包含以下三个核心模块：

1. Outcome-Level Advantage 的计算

延续标准 GRPO，无需训练 Value Model。对于一个问题 $q$，采样一组轨迹 $\{ \tau_i \}_{i=1}^G$，基于最终结果的 Exact Match (EM) 给出标量奖励 $R_i$。随后通过组内比较（归一化）计算出粗粒度的轨迹级优势：

$$ A_i^O = \frac{R_i - \text{mean}\{R_i\}_{i=1}^G}{\text{std}\{R_i\}_{i=1}^G} $$

2. Round-Level 贡献度估计与合取门控（Conjunctive Gating）

使用独立的 LLM Judge 对每轮搜索 $t$ 提取两个二元正交信号：

• Retrieval utility ($u_i^t \in \{0, 1\}$): 是否检索到了之前上下文中没有的新颖且相关的证据？（防循环检索）
• Reasoning correctness ($v_i^t \in \{0, 1\}$): 推理链是否正确解释了上下文并保持逻辑一致性？（防得出正确答案但推理错误）

核心设计在于合取逻辑（Logical Product）：$p_i^t = u_i^t \cdot v_i^t$。一轮搜索只有同时满足“搜到好东西”和“想得明白”，才算作有实际贡献，起到极端的保守过滤作用。

3. 自适应 Advantage 重新分配机制

这是整篇论文的画龙点睛之笔。作者对成功轨迹和失败轨迹进行了不对称处理，以保证优化的鲁棒性：

• 对于成功的轨迹 ($R_i = 1$)：采用带温度参数 $\alpha$ 的 softmax 进行高贡献度聚焦。 $$ c_i^t = \frac{\exp(\alpha p_i^t)}{\sum_{t'=1}^{T_i-1} \exp(\alpha p_i^{t'})} $$ ($\alpha$ 越大，Advantage 越向高贡献轮次聚拢。实验证明 $\alpha = \infty$，即 Hard selection 效果最好。)
• 对于失败的轨迹 ($R_i = 0$)：由于多轮搜索的失败极难清晰归因（可能是检索语料不够，可能是错误解释），强行分配极易引入噪声。因此 CW-GRPO 退化为标准 GRPO，做均匀分配： $$ c_i^t = \frac{1}{T_i - 1} $$

最终，将缩放后的 Contribution 乘回到 Advantage 上（并乘以总轮数保持整体学习信号幅值恒定），代入标准 GRPO 的 Clipped Surrogate Objective 中完成参数更新：

$$ A_i^t = A_i^O \cdot c_i^t \cdot (T_i - 1) $$

⚙️ 方法论与技术实现

在Agent的控制论循环中，作者深入解析了四项核心组件的理论基础，并浓墨重彩地梳理了 Reinforcement Learning范式 的技术演化：

1. 基于LLM的Agent四大组件机制：

• Action（干预）： 行为由策略 $a_t \sim \pi_\theta(a|s_t)$ 决定。对于开放式任务，摒弃了预定义动作空间，转向动态框架下的程序生成（Ad hoc program generation）。
• Planning（前瞻性推理）： 使用内部模型模拟未来轨迹（如MCTS）。结合置信区间上界（UCB1）算法：$a_t = \arg\max_a \left( Q(s, a) + c\sqrt{\frac{\ln N(s)}{N(s, a) + \epsilon}} \right)$，并动态分配测试时算力（Test-time compute）。
• Memory（时间上下文整合）： 克服部分可观测性。除了传统的LSTM隐藏状态门控更新机制，更广泛利用Replay Buffer $\mathcal{D} = \{(s_i, a_i, r_i, s_i', d_i)\}_{i=1}^N$ 和向量数据库进行长线知识检索与动态摘要。
• Tools（外部能力扩展）： 将工具抽象为黑盒函数 $y_t = T_i(x_t; \theta_T)$。通过经典的 Thought $\rightarrow$ Action(Tool Call) $\rightarrow$ Observation $\rightarrow$ Thought（ReAct）范式，将内部推理轨迹与外部环境探测无缝交错。

2. 前沿强化学习范式的演进与公式化拆解（The RL Paradigm）：

LLM推理能力的爆发式增长，本质上是由于RL算法摆脱了SFT的局限。本文总结了以下里程碑级别的RL算法：

• PPO (Proximal Policy Optimization)： 标准的Actor-Critic架构，通过引入截断项 $\text{clip}$ 控制信任域（Trust region）更新步伐。缺点是需要同时加载庞大的Actor、Reference、Reward 和 Critic 模型，显存压力极大。
• GRPO (Group Relative Policy Optimization)： DeepSeek提出的划时代算法。核心创新是 彻底砍掉Critic（Value）模型。针对同一个问题采样 $G$ 个回复，在一个组内进行归一化（Group relative）计算相对优势：
  $$ \widehat{A}_{i,t} = \frac{r(x, y_i) - \text{mean}\left(\{r(x, y_i)\}_{i=1}^G\right)}{\text{std}\left(\{r(x, y_i)\}_{i=1}^G\right)} $$ 这种方式既维护了训练稳定性，又大幅缩减了内存开销，对于数学、代码等客观奖励任务（Verifiable Reward）效果惊人。
• GSPO (Group Sequence Policy Optimization)： 针对MoE架构优化的算法。抛弃了Token级别的概率重要性权重，而是引入序列级别（Sequence-level）的重要性加权。计算优势比的几何平均值，这大大降低了梯度方差和训练不稳定性。
• DAPO (Decouple Clip and Dynamic Sampling PO)： 由ByteDance提出，在GRPO基础上更进一步：1) 非对称裁剪（Clip-Higher）以鼓励探索高价值路线；2) 动态采样过滤无效样本；3) 超长奖励塑形（Overlong Reward Shaping）惩罚冗长啰嗦的生成；4) 丢掉KL散度约束。该算法在AIME上训练步数减半即可达SOTA。
• SAPO (Soft Adaptive Policy Optimization)： Qwen团队提出。为了解决重要性权重方差过大导致的策略崩塌，摒弃硬裁剪（Hard clipping），引入了带温度超参（$\tau_{pos}, \tau_{neg}$）的Sigmoid连续平滑门控函数，实现了软适应的策略优化。

⚙️ 方法论与技术实现

1. ClawTrace 与 TraceCard 编译

不同于简单的扁平日志，ClawTrace 重构了 Multi-agent 系统的完整调用图（Call Graph），通过持久化的 childSessionKey -> parentSpanId 映射将子 Agent 绑定到父调用链。尤为关键的是，它精确还原了Cache-aware（缓存感知）的成本模型：

$cost = r_{in} \cdot t_{in} + r_{out} \cdot t_{out} + r_{cacheRead} \cdot t_{cacheRead} + r_{cacheWrite} \cdot t_{cacheWrite}$

由于 API 服务商（如 OpenAI）对缓存 Token（cacheRead）的收费仅为新鲜输入（fresh input）的一小部分，如果按原始输入长度计费，高估真实成本可能达到 1.6~2.0 倍，这会严重干扰后续蒸馏步骤中基于成本的 Span 排序。

TraceCard 的编译包含启发式特征提取：例如利用编辑距离（Levenshtein distance $\ge 0.8$）检测 redundant_tool_calls，利用 Jaccard 相似度评估子 Agent 输出在最终回复中的采用率。

2. CostCraft 三向蒸馏管道

• Success Analyst（成功分析员）：处理成功的轨迹，可生成最多两个补丁。一个是 Preserve，记录促成成功的行为；另一个是 Prune（可选），针对 TraceCard 中的高成本冗余节点（top_cost_spans）。Prune 补丁必须严格附带自然语言的“反事实推论（Counterfactual）”，证明移除该步骤不会改变输出。
• Error Analyst（错误分析员）：处理失败轨迹，使用包含 inspect_mismatches、read_gold_snippet 和 final_patch 等工具的 Multi-turn ReAct 循环进行 Oracle 辅助诊断，生成 Repair 补丁。
• Conflict-aware merge（冲突感知合并）：使用 LLM 分层聚合补丁。优先级为：具有因果诊断的 Repair > 具有成本目标的 Prune > 至少出现两次的 Preserve。最终输出的 SKILL.md 包含触发器、工作流、停止规则、伪影清单和成本控制（Cost Control）五大段落。

⚙️ 方法论与技术实现

LiteResearcher的生态系统建立在三个核心支柱之上：

1. 本地基建：千万级轻量虚拟世界

彻底抛弃调用在线API（如Serper/Jina）。系统爬取了~32M高质量真实网页（学术、百科、新闻等），构建完全本地的后端：

• Local Search Engine：采用 BGE-M3 进行稠密与稀疏混合检索，Milvus结合DiskANN (mmap) 实现页面级（Page-level，而非 Chunk-level）索引。并发性能强悍，查询延迟仅 ~0.15s（比在线API快10倍）。
• Local Browse Tool：全网页以Markdown格式存入针对千级并发优化的 PostgreSQL 数据库中，读取延迟仅 ~0.17s（比在线工具快46倍）。
  注：在整个RL训练期间，系统处理了高达 73.2M 次工具调用，如果走商业API预估花费超过 $240,000，而本地环境实现0成本。

2. RL优化算法：严格的On-Policy GRPO

由于引入了环境反馈机制，长程搜索任务面临严重的策略漂移。作者发现标准的 Off-policy（即对同一个 Rollout Batch 划分多个 Mini-batch 多次更新）会导致模型迅速崩溃。因此，算法严格采用单次更新的 On-Policy GRPO。同时摒弃了 KL 散度惩罚和熵正则化项，目标函数简化为仅包含优势裁剪的代理损失：

$$\mathcal{J}_{GRPO}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^K \sim \pi_{\theta_{old}}} \left[ \frac{1}{K} \sum_{i=1}^K \min \left( r_i(\theta) A_i, \text{clip} \left( r_i(\theta), 1-\epsilon_{low}, 1+\epsilon_{high} \right) A_i \right) \right]$$

其中，优势 $A_i$ 是通过在一组样本 $\{o_1, ..., o_K\}$ 的奖励分布中进行标准化计算得到的，奖励依据最终回答与 LLM Judge 给出的语义正确性为准。

3. 难度感知课程学习 (Difficulty-Aware Curriculum Learning)

为了防止模型陷入“简单任务全对，复杂任务全错”的梯度枯竭（训练饱和），系统引入了多阶段渐进难度学习机制。在送入 RL 引擎前，系统用当前模型评估所有候选 QA 对（pass@8），仅保留正确次数 $c$ 满足 $1 \le c \le 7$ 的任务。阶段 1 使用基础数据，阶段 2 引入多跳子图推理和特定领域（如科学）的困难数据，不断突破模型的性能天花板。

⚙️ 方法论与技术实现 (Methodology)

LangMARL 在自然语言空间中严格复现了带中心化 Critic 的 Actor-Critic (CTDE) 强化学习范式，不再更新神经网络权重，而是更新 Prompt 字符串。包含以下四个核心模块：

1. 语言策略执行器 (Language Policy Actor)

每个 Agent $i$ 维护一个由自然语言参数化的策略 $\pi_i^{\text{text}}$（即 System Prompt 和 Few-shot examples）。在时刻 $t$，Agent 基于当前的文本状态观察 $s_t^{\text{text}}$，通过查询 LLM 采样动作 $a_i^t$：

$a_i^t = \text{LLM}_{\text{actor}}\left(\pi_i^{\text{text}}, s_t^{\text{text}}\right)$

执行时是完全去中心化的，Agent 看不到全局信息。

2. 中心化语言评论家 (Centralized Language Critic)

这是解决信用分配的核心。不同于输出一个标量价值（Scalar Value），语言 Critic 接收完整的全局片段轨迹 $\tau = (s_0, a_0, s_1, a_1, \dots, s_T)$，并进行因果归因（Causal Attribution），输出一段针对 Agent $i$ 的自然语言信用评价 $C_i^{\text{text}}(\tau)$：

$C_i^{\text{text}}(\tau) = \text{LLM}_{\text{critic}}(\tau, i)$

3. 语言策略梯度估计器 (Language Policy Gradient Estimator)

为了模拟传统 RL 中的 $\nabla_\theta \log \pi_\theta(a|s) \cdot G(\tau)$，LangMARL 引入了一个策略梯度 LLM。它结合当前策略 $\pi_i^{\text{text}}$ 和 Critic 提供的信用信号，生成文本格式的“修改指令”（即方向性梯度 $\Delta \pi_i^{\text{text}}$）：

$\Delta \pi_i^{\text{text}}(\tau_k) = \text{LLM}_{\text{grad}}\left(\pi_i^{\text{text}}, C_i^{\text{text}}(\tau_k)\right)$

4. 语言策略优化器 (Language Policy Optimizer)

类似于 Batch Policy Optimization，框架首先使用 $\text{LLM}_{\text{agg}}$ 聚合多个轨迹 $K$ 上的语言梯度（消除噪声和冲突），然后使用 $\text{LLM}_{\text{opt}}$ 应用这些更新，生成迭代后的新策略：

$\pi_i^{\text{text}} \leftarrow \text{LLM}_{\text{opt}}\left(\pi_i^{\text{text}}, \text{LLM}_{\text{agg}}\left(\{\Delta \pi_i^{\text{text}}(\tau_k)\}_{k=1}^K\right)\right)$